CN108537766A - 一种通用多波段融合ip核 - Google Patents
一种通用多波段融合ip核 Download PDFInfo
- Publication number
- CN108537766A CN108537766A CN201810379020.2A CN201810379020A CN108537766A CN 108537766 A CN108537766 A CN 108537766A CN 201810379020 A CN201810379020 A CN 201810379020A CN 108537766 A CN108537766 A CN 108537766A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- fusion
- output
- kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 35
- 238000001228 spectrum Methods 0.000 title claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000002156 mixing Methods 0.000 claims abstract description 12
- 238000012546 transfer Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 241001269238 Data Species 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种通用多波段融合IP核，包括：通讯模块，融合算法模块，色彩传递模块，目标标识模块，行模式控制模块，输出模块。该通用多波段融合IP核将红外和CCD两路图像的原始数据输入到IP核，经过IP核处理后，可以输出红外和CCD两路单通道数据，以及融合后的数据，并可选择是否打开目标标识。
Description
技术领域
本发明涉及军用手持观察仪技术领域，特别涉及军用手持观察仪的通用图像融合IP核技术领域。
背景技术
由于数字图像融合技术可以将不同波段的图像融合到同一显示装备，在观察和瞄准系统中利用率越来越高。目前国内已经应用融合技术的型号装备也已经出现了几年，但是其在应用领域一直受到功耗、体积、实时性的限制，推广起来存在一定的困难。
数字融合技术实现起来的主要方式是DSP处理和FPGA处理。DSP处理的好处是，开发周期更短；但是存在不可避免的延时效应，延时时间是一个范围，在40-200ms之间。FPGA处理的好处是延时时间可以控制。
目前的数字融合系统，不论是DSP还是FPGA处理，由于体积和功耗，都不便用于小型便携式设备。
数字融合算法包含融合算法和色彩传递算法。融合算法有很多中，例如加权平均法、拉普拉斯多分辨分析法等，在视频观察系统中，融合算法对观察效果的影响很小，可以忽略不计。而色彩传递算法可以由于传递参数的不同，大大影响观察效果。目前的处理方法因此在视频观察系统中常常采用加权平均法融合算法。
基于YUV空间的彩色融合算法首先将可见光和红外视频通过线性组合方式映射到YUV彩色空间，形成彩色融合图像，其映射方式为
式中,VVIS为可见光视频；VIR为红外视频；Yf为融合视频的亮度；Uf和Vf分别为融合视频的色差分量；m1,m2,m3,m4,为映射系数。
色彩传递算法需要找到一幅适宜的参考图像，对源图像进行一系列的线性运算，使输出图像的统计特性与参考图像的统计特性具有一致性，则处理后图像与参考图像就有相似色彩外观。计算方法为
其中：δ表示对应下标参量的标准方差；上划线表示对应参量的均值；T表示参考图像；Y’、U’、V’表示最终得到图像的YUV分量。
对于微光和红外两波段融合系统，红外探测器由于受到外界温度的影响，一天当中的图像一直产生变化，若要观察效果更能接近现实场景，就要求有高的色彩传递精度。
目前DSP和FPGA中的处理方法有查找表方法和直接计算两种。其中，查找表法的缺点在于增加了系统中存储器的负担，而且由于最终的色彩数值不是实时计算得来的，其色彩的传递精度大大下降，造成最终的图像色彩与减小或者有偏差，影响观察效果。直接计算方法不仅可以提高实时性，起色彩的自然程度更会提高。但是，一般要求的硬件资源性能也更高。
发明内容
为了与探测系统无缝链接，提高系统的可靠性，节省硬件成本，降低融合光电系统的总体功耗，本发明提供一种通用多波段融合IP核。
本发明提供一种通用多波段融合IP核，IP核内部的模块流程图见图1所述。通用多波段融合IP核包括：通讯模块，用于接收IP核外部的控制及参数信号，根据通用的电路板内部通讯方式和节省FPGA引脚资源的原则，选择合适通讯方式；融合算法模块，用于接收红外和CCD两路图像的原始数据，并利用融合算法对两路图像的原始数据进行融合处理，处理成融合图像数据，其输出的数据仍然是灰度数据；色彩传递模块，用于接收两路图像数据，经过色彩传递算法，输出融合后的色彩数据；目标标识模块，用于接收红外图像原始数据，经过算法，输出目标的标识数据；行模式控制模块，用于对FPGA实现的红外和CCD探测成像系统存在的逐行处理和隔行处理两种方式，分开进行处理；输出模块主要功能是将融合模块、色彩传递模块、目标标识模块输出的数据进行处理，并接收通讯模块输出的数据，对输出模式选择信号做出响应。
可选的，所述融合算法模块，还用于通过通讯模块数据接收串口数据，配置两路数据的比例。
可选的，所述色彩传递模块，还用于接受通讯模块的输出数据，配置参考图像的色彩值。
可选的，所述目标标识模块，还用于接收通讯模块的输出数据，作为标识算法的阈值参数。
可选的，所述数据融合方式包括:林地、海洋、城市、荒漠、雪地五种。
本发明充分考虑FPGA系统设计的特点，设计了通用的数据及控制接口，可以与常用的图像数据处理系统无缝连接，接口见图2。其中的输入接口包括：两路图像数据，行同步控制信号，帧同步控制信号，时钟信号，行模式控制信号，模式选择信号。输出信号包括：处理后的图像数据信号，行同步控制信号，帧同步控制信号。
本IP核具备常用红外和CCD融合系统所具备的功能：将红外和CCD两路图像的原始数据输入到IP核，经过IP核处理后，可以输出红外和CCD两路单通道数据，以及融合后的数据，融合后数据可选择目标标识。
本IP核采用实时流水线处理，总体的数据延迟为us级。色彩的处理由于需要作均值和方差的计算，采用当前帧用上一帧的均值和方差，来避免大规模的时间延迟。
本IP核具备以下优点：
1、通用接口，可以应用于任何FPGA实现的红外和CCD探测成像系统内部。
2、对FPGA系统的外部资源没有要求。
3、采用流水线作业，实时性高。
4、不需要另做硬件，提高融合系统的可靠性，节省成本。
5、可以降低功耗，因而可以有更加广泛的应用。
6、可以覆盖多种场景，适合长时间观察。
7、近自然色显示，有目标标识功能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1IP核内部的模块流程图；
图2IP核通用的数据及控制接口。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图对本发明作进一步说明。
需要说明的是，所描述的实施方式仅用于对相关领域人员更好的了解本发明的原理和实施细节，并不会因此构成对本发明的任何限制。
本发明的某一实施例中，FPGA芯片采用cyclone IV系列的EP4C75I19，IP核最终植入到带CCD输入接口的红外机芯FPGA工程中。
通讯模块采用串口RS232通讯方式，波特率采用38400，无校验，23字节通讯数据作为融合模块和色彩传递模块的输入参数。23字节的包含内容见表1。
融合模块采用2层Laplacian融合算法将CCD和红外两路数据融合，利用其自身的逻辑资源和M9K作为邻域生成时的缓冲器。第一层的融合规则采用最大值替代，第二层融合规则采用加权平均。其中两路数据的配比参数接收通讯模块的2-4字节。
色彩传递模块接收通讯模块的5-16字节作为可调节参数，这些参数的不同，决定了融合效果的不同，11-16字节的配套使用，可以得到不同的模式。色彩传递算法公式计算中方差计算，采用了altera公司的Megacore。
目标标识采用了邻域边缘检测的方式，将红外图像中的高亮目标边缘突出表示出来。也可以采用图像分割的方式，将高亮目标与背景分割开来。本模块接收了通讯模块的17-21字节，用来调节不同的场景下目标标识的完整程度。
输出模块将融合模块、色彩传递模块、目标标识模块输出的图像格式的数据按照同步要求进行叠加，然后输出完整的带标识的图像数据或不带标识的图像数据，由标识开关信号控制。本模块接收通讯模块的第22-23字节，决定最终输出的数据模式。
IP核的输入的图像数据信号和同步控制信号符合Bt656格式，两路图像信号必须做到像素级同步；clk信号频率为像素时钟频率；输出信号的时序关系见图。Interlace＝‘1’时，为逐行输入，Interlace＝‘0’时，为隔行输入；Comm为串口通讯信号。
IP核的输入输出图像数据信号和同步控制信号符合Bt656格式，行模式在内部不做改变。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种通用多波段融合IP核，包括：
通讯模块，用于接收IP核外部的控制及参数信号，根据通用的电路板内部通讯方式和节省FPGA引脚资源的原则，选择合适通讯方式；
融合算法模块，用于接收红外和CCD两路图像的原始数据，并利用融合算法对两路图像的原始数据进行融合处理，处理成融合图像数据，其输出的数据仍然是灰度数据；
色彩传递模块，用于接收两路图像数据，经过色彩传递算法，输出融合后的色彩数据；
目标标识模块，用于接收红外图像原始数据，经过算法，输出目标的标识数据；
行模式控制模块，用于对FPGA实现的红外和CCD探测成像系统存在的逐行处理和隔行处理两种方式，分开进行处理；
输出模块主要功能是将融合模块、色彩传递模块、目标标识模块输出的数据进行处理，并接收通讯模块输出的数据，对输出模式选择信号做出响应。
2.根据权利要求1所述的通用多波段融合IP核，其特征在于：
所述融合算法模块，还用于通过通讯模块数据接收串口数据，配置两路数据的比例。
3.根据权利要求1所述的通用多波段融合IP核，其特征在于：
所述色彩传递模块，还用于接收通讯模块的输出数据，配置参考图像的色彩值。
4.根据权利要求1所述的通用多波段融合IP核，其特征在于：
所述目标标识模块，还用于接收通讯模块的输出数据，作为标识算法的阈值参数。
5.根据权利要求2所述的通用多波段融合IP核，其特征在于：
所述数据融合方式包括:林地、海洋、城市、荒漠、雪地五种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810379020.2A CN108537766B (zh) | 2018-04-25 | 2018-04-25 | 一种通用多波段融合ip核 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810379020.2A CN108537766B (zh) | 2018-04-25 | 2018-04-25 | 一种通用多波段融合ip核 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108537766A true CN108537766A (zh) | 2018-09-14 |
| CN108537766B CN108537766B (zh) | 2022-03-01 |
Family
ID=63477529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810379020.2A Active CN108537766B (zh) | 2018-04-25 | 2018-04-25 | 一种通用多波段融合ip核 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108537766B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303733A (zh) * | 2008-05-26 | 2008-11-12 | 东华大学 | 采用模式数据库的具有空间感的自然彩色夜视实现方法 |
| CN101867685A (zh) * | 2010-06-25 | 2010-10-20 | 北京理工大学 | 基于颜色查找表的双波段视频快速自然感彩色融合方法 |
| CN101872473A (zh) * | 2010-06-25 | 2010-10-27 | 清华大学 | 基于过分割与优化的多尺度图像自然色彩融合方法及装置 |
| WO2011131758A1 (en) * | 2010-04-23 | 2011-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| CN202887451U (zh) * | 2012-10-26 | 2013-04-17 | 青岛海信网络科技股份有限公司 | 融合红外和可见光补光的电子警察系统 |
| US20150269742A1 (en) * | 2014-03-21 | 2015-09-24 | Fluke Corporation | Visible light image with edge marking for enhancing ir imagery |
| CN105046869A (zh) * | 2015-07-06 | 2015-11-11 | 北京理工大学 | 一种基于双波段融合理论的森林防火监控系统 |
| CN105300175A (zh) * | 2015-10-30 | 2016-02-03 | 北京艾克利特光电科技有限公司 | 一种红外及微光两相融合的夜视瞄准器 |
| CN105447838A (zh) * | 2014-08-27 | 2016-03-30 | 北京计算机技术及应用研究所 | 一种红外与微光/可见光融合成像的方法及系统 |
| CN106454216A (zh) * | 2016-11-02 | 2017-02-22 | 南京理工大学 | 基于非制冷红外与微光融合的夜间驾驶系统 |
| CN107169950A (zh) * | 2017-06-02 | 2017-09-15 | 江苏北方湖光光电有限公司 | 一种高分辨率图像融合处理电路 |
| KR101841939B1 (ko) * | 2016-12-12 | 2018-03-27 | 인천대학교 산학협력단 | 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법 |
-
2018
- 2018-04-25 CN CN201810379020.2A patent/CN108537766B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303733A (zh) * | 2008-05-26 | 2008-11-12 | 东华大学 | 采用模式数据库的具有空间感的自然彩色夜视实现方法 |
| WO2011131758A1 (en) * | 2010-04-23 | 2011-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| CN101867685A (zh) * | 2010-06-25 | 2010-10-20 | 北京理工大学 | 基于颜色查找表的双波段视频快速自然感彩色融合方法 |
| CN101872473A (zh) * | 2010-06-25 | 2010-10-27 | 清华大学 | 基于过分割与优化的多尺度图像自然色彩融合方法及装置 |
| CN202887451U (zh) * | 2012-10-26 | 2013-04-17 | 青岛海信网络科技股份有限公司 | 融合红外和可见光补光的电子警察系统 |
| US20150269742A1 (en) * | 2014-03-21 | 2015-09-24 | Fluke Corporation | Visible light image with edge marking for enhancing ir imagery |
| CN105447838A (zh) * | 2014-08-27 | 2016-03-30 | 北京计算机技术及应用研究所 | 一种红外与微光/可见光融合成像的方法及系统 |
| CN105046869A (zh) * | 2015-07-06 | 2015-11-11 | 北京理工大学 | 一种基于双波段融合理论的森林防火监控系统 |
| CN105300175A (zh) * | 2015-10-30 | 2016-02-03 | 北京艾克利特光电科技有限公司 | 一种红外及微光两相融合的夜视瞄准器 |
| CN106454216A (zh) * | 2016-11-02 | 2017-02-22 | 南京理工大学 | 基于非制冷红外与微光融合的夜间驾驶系统 |
| KR101841939B1 (ko) * | 2016-12-12 | 2018-03-27 | 인천대학교 산학협력단 | 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법 |
| CN107169950A (zh) * | 2017-06-02 | 2017-09-15 | 江苏北方湖光光电有限公司 | 一种高分辨率图像融合处理电路 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108537766B (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103105234B (zh) | 热像装置和热像规范拍摄方法 | |
| CN106060462B (zh) | 一种基于Zynq平台的高性能视频处理及传输系统 | |
| CN104580858B (zh) | 一种无人机用多源成像载荷 | |
| CN105578067B (zh) | 图像生成方法、装置及终端设备 | |
| CN108259746B (zh) | 一种图像色彩检测方法及移动终端 | |
| WO2005072431A2 (en) | A method and apparatus for combining a plurality of images | |
| CN109688382B (zh) | 一种水下机器人的水下图像处理系统 | |
| CN113132704B (zh) | 一种图像处理的方法、装置、终端以及存储介质 | |
| CN113132696B (zh) | 图像色调映射方法、装置、电子设备和存储介质 | |
| KR20190082080A (ko) | 피처 매칭을 이용하는 멀티-카메라 프로세서 | |
| CN104683774A (zh) | 减少数字图像中的色彩伪像的技术 | |
| CN109361867A (zh) | 一种滤镜处理方法及移动终端 | |
| CN110505477A (zh) | 双滤镜测试方法、装置、设备及存储介质 | |
| CN111062993B (zh) | 色彩合并的作画图像处理方法、装置、设备及存储介质 | |
| WO2024027287A9 (zh) | 图像处理系统及方法、计算机可读介质和电子设备 | |
| CN108093175B (zh) | 一种实时高清视频自适应去雾方法及装置 | |
| CN108154493A (zh) | 一种基于fpga的双波段红外图像伪彩融合算法 | |
| CN205754597U (zh) | 一种基于fpga的多路视频拼接装置 | |
| CN109089048A (zh) | 多镜头全景联动装置及方法 | |
| CN104715470A (zh) | 一种klt角点检测装置及方法 | |
| CN111901519B (zh) | 屏幕补光方法、装置及电子设备 | |
| CN110930932A (zh) | 显示屏校正方法及系统 | |
| CN108537766A (zh) | 一种通用多波段融合ip核 | |
| CN107395987A (zh) | 一种用于可见光通信的智能手机帧速率控制方法与系统 | |
| CN107295255A (zh) | 拍摄模式的确定方法、装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |