CN105957044B - 具有asip核心的图像融合红外热像仪 - Google Patents

具有asip核心的图像融合红外热像仪 Download PDF

Info

Publication number
CN105957044B
CN105957044B CN201610239573.9A CN201610239573A CN105957044B CN 105957044 B CN105957044 B CN 105957044B CN 201610239573 A CN201610239573 A CN 201610239573A CN 105957044 B CN105957044 B CN 105957044B
Authority
CN
China
Prior art keywords
image
asip
data
thermal
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610239573.9A
Other languages
English (en)
Other versions
CN105957044A (zh
Inventor
朱勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN201610239573.9A priority Critical patent/CN105957044B/zh
Publication of CN105957044A publication Critical patent/CN105957044A/zh
Application granted granted Critical
Publication of CN105957044B publication Critical patent/CN105957044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)

Abstract

具有ASIP核心的图像融合红外热像仪采用SoC技术的ASIP核心获得了系统性能与副作用成本间的满意平衡,并通过图像融合信息处理拓展了传统光电设备的应用空间。本发明设计的硬联逻辑“同步接口状态机”、“数据缓存与处理”和“伪彩色显示”实现了热像流数据的流水操作,并且保证了整个过程的硬实时性。热像处理核心ASIP的行为结构模型及其CI用户逻辑提供了针对细粒度节点加速的专用引擎。通过剖析图像融合算法运行时指令频度,获取关键路径ISA,进而设计ASIP CI及其数据通道,加速核心算法,解决关键路径瓶颈。其关键技术流程“算法→ISA→CI→HDL→SoC”也是本发明的主要技术特征。

Description

具有ASIP核心的图像融合红外热像仪
技术领域
本发明涉及微处理器设计开发领域和图像处理领域,特别涉及一种基于ASIP芯片的红外与可见光图像融合的红外热像仪。
背景技术
ASIP的主要特色是具有用户定义指令、动态数据路径和专用硬件加速单元。借助于SoC(片上系统)硬件技术,在满足功耗和面积约束下,能够解决嵌入式应用关键功能瓶颈;以及最大限度地利用有限的硬件资源,适合嵌入式系统设计与应用。与ASIC(专用集成电路)和GPP(通用可编程处理器)相比,实现了二者间满意的性价比平衡,在计算性能、灵活性和能耗方面获得很好的权衡。
图像融合(Image Fusion)是指将多源信道(红外图像、可见光图像、多谱图像、雷达图像)所采集的关于同一目标的图像经过一定的处理,提取各自信道的信息,最后综合形成统一图像供观察或进一步处理,以获取对同一场景的更为精确、全面、可靠的图像描述。从信息处理的层次上图像融合可分为:信号层图像融合、像素层图像融合、特征层图像融合和符号层图像融合。如热像仪通过焦平面传感器采集热幅射信号、CCD获取可见光信号,经过调制、多分辨等图像融合处理,提取相关特征,再在SoC上实时综合增强为多维红外图像,供进一步观察、处理和决策。由于图像融合充分利用了多幅被融合图像中的冗余信息和互补信息,因此融合图像更加符合人或机器的视觉特性,从而提高了对图像信息的分析和提取能力。图像融合作为一种有效的信息融合技术,已经广泛地应用于图像检测、医疗诊断、军事侦察、自动目标识别、遥感和导航等领域。
图像融合还有许多有待解决的问题:如研究高速算法进一步提高计算效率,设计适合硬件芯片的有效算法,以及一些图像融合算法的实时实现,带有某种智能的自动图像融合热像仪等等。
发明内容
目前红外热像仪图像处理系统基本采用通用模块技术,即选用DSP、ARM作为系统核心,FPGA(现场可编程门阵列)硬件辅助信号处理。虽然这些处理核心相比于通用处理器在信号处理和事件响应方面有一定的优势,但仍然存在关键路径瓶颈,往往是通过“暴力”升级提升性能,却带来诸如功耗、体积、干扰和可靠性等问题。
针对上述问题,本发明利用ASIP特色和SoC技术,通过剖析融合算法频度,定制用户指令以及专用加速功能单元,解决关键路径瓶颈,实时处理热像流;同时充分利用硬件资源,减少副作用;最终得到具有完全知识产权的高新产品。
技术方案如下:
1)图像融合处理算法分析
首先要选择图像融合算法,如图1为不同算法得到的处理效果。再通过对核心算法进行整理与优化,由专用硬件加速功能单元实现。要尽量避免浮点运算,通过公式变换为逻辑形式,预存储中间结果加快存储,以及以空间(存储)换时间(速度)等都是一些实践中行之有效的方法。
2)算法指令频度剖析
利用处理器性能测试软件,统计图像融合算法运行时指令频度,找出占用运行时间大的指令集作为优化的关键路径。特别要注意程序中的主循环,以及耗时较长的I/O操作。
3)CI(定制指令)及其数据通道
CI是优化关键路径的基本方法之一。它将上述得到的关键路径指令集在ASIP中定制,并重新设计其微体系结构,缩短指令运行周期,也就大大缩短了程序执行时间。
CI及其数据通道形成了专用加速功能单元,是图像融合算法加速的核心。其关键技术可以用“算法→ISA(指令集体系结构)→CI→HDL(硬件描述语言)→SoC”流程表示。ALU(算数逻辑单元)结构如图2所示。
4)ASIP体系结构描述
ASIP模型采用ADL(体系结构描述语言)描述,其中行为功能ADL基本域格式:
微体系结构ADL基本域格式:
5)同步接口状态机
同步接口作为红外图像高速通道的前端,接收传感器输出信号,完成输入的转换与解码,在保证不损失信号信噪比的情况下,将数据接入高速通道的数据处理逻辑单元进行热成像质量改善。
6)数据处理逻辑
本单元对上述前端数据进行缓存、传输和处理,以期实现检测诊断和图像质量改善。它包括数据缓存、总线胶合和特征数据处理三个主要模块。数据缓存单元将视频流缓冲至FIFO和RAM存储器,使得数据处理更加容易。
7)伪彩色显示
热像显示是SoC实时红外图像高速通道最终输出结果,一方面提供被测目标客观特征数据,同时也向用户展示可视化温度分布信息,直观全面地了解对象,有助于现场诊断。伪彩色显示是目前热像仪图像增强的主流技术,通过SoC技术实现了实时红外图像显示。
8)仿真验证
逻辑设计完毕后,要通过功能仿真验证模块运行的正确性,然后再由时序仿真优化模块性能,解决关键路径延迟。
行(水平)场(垂直)同步时序仿真结果如图3所示,伪彩色编码逻辑结果如图4所示。
9)SoC实现
最终通过集成环境将设计综合为RTL(寄存器传输级)级网表,生成FPGA硬联逻辑,实现具有ASIP核心的图像融合处理IP核。
本发明的有益效果:与传统的红外热像仪相比,本发明充分利用ASIP体系结构特征,加速核心算法,获得满意的性能和功耗平衡,同时融合图像为对象诊断与目标决策提供了更加全面信息描述。叙述如下:1)采用硬联逻辑实现红外图像高速通道,保证信号采集、数据存储和信息显示的实时性。2)设计SoC接口与存储用户逻辑,具有更加灵活的总线协议接口,多FIFO行和RAM帧缓存机制,多制式编解码视频和伪彩色输出。针对视频流特征,实现系统数据采集、缓存、总线存取与显示的流水操作。3)ASIP行为与结构模型,为系统设计提供统一的形式化表示和验证机制。进而直接通过应用来驱动ASIP体系结构描述,使之包括对领域知识语义,再映射到微体系结构和用户逻辑中。4)通过优化图像融合算法,综合为HDL形式的用户逻辑,最终实现具有实时、并行、灵活特色的多源信道信号融合SoC。5)“用户定制指令”将关键路径指令集嵌入到ALU内部,形成专用数据路径与加速单元,增强了ASIP实时处理信号的能力,是解决嵌入式应用瓶颈的关键手段。6)图像融合技术拓展了红外热像仪的功能与应用前景。
附图说明
图1a.红外源图像;
图1b.可见光源图像;
图1c.残差加权融合算法图像;
图1d.残差加权+局部能量融合算法图像;
图1e.局部能量融合算法图像;
图2.算术逻辑运算单元;
图3a.行同步状态机仿真结果;
图3b.场同步状态机仿真结果;
图4a.伪彩色编码调仿真(整体);
图4b.伪彩色编码编码仿真(局部放大);
具体实施方式
表1
参照技术方案以及图例,给出发明实施步骤如下:
步骤1.分析选择图像融合算法
首先选择主流与经典的图像融合算法进行仿真,根据融合图像评价表(如表1所示)选择具有较好融合效果的算法。
一般来说融合较好的算法运算时间较长、算法也较复杂,设计者要在二者之间权衡。
如将图1中的红外源图像和可见光源图像,分别经过残差加权融合,残差加权+局部能量融合,和局部能量融合三种融合算法后得的相应的三个图像,表1列出了其中的评价指标,图像的熵是衡量图像信息丰富程度的一个重要指标;交互信息量是信息论中一个非常重要的概念,它可作为两个变量之间相关性的量度,或一个变量包含另一个变量的信息量的量度。因此,我们可以通过计算各个源图像和融合图像之间的交互信息量来评价融合算法的优劣。从图中不难看出局部能量融合算法最好,但所花费时间也最长。
步骤2.算法整理与优化
算法最终要以专用加速功能单元方式实现,因此要求算法形式适合逻辑运算。这个过程主要由人工完成,需要设计者具有一定的软硬件设计经验。试举例说明:
残差加权运算式A*0.6+B*0.4可变换为(A*6+B*4)/10,其中“*4”运算用2次“<<2”(左移)来实现,“*6”=“*(4+2)”,即2次左移和1次左移结果相加。
步骤3.指令频度剖析
使用CPU测试工具(如:Altera的NiosII_IDE提供具有CI接口的软硬件仿真调试功能、ARM的RealView ARMulator带有ISS指令集仿真器、GCC工具链具有多种ISA指令集体系结构目标代码及其调试信息)运行红外热像仪主程序(前面一直说的是图像融合算法程序),剖析指令运行时频度(“指令-频度”2维表)。一般将主程序中主循环和子算法模块分别测试,可以更加明显地找出频度高的指令集。通常根据20/80原则将它们划分为关键路径指令集。
步骤4.CI
将上述得到的关键路径指令集在ASIP中定制,并设计其用户数据通道(见下一步骤),提高指令运行效率。如果关键路径指令集包含一些基本操作,如乘加运算,可对其数据通道进行优化。ASIP通常支持DSP、MAC等运算。
步骤5.构建用户数据通道
根据CI构建其数据通道以及操作逻辑,设计专用加速功能单元,加速图像处理运算。
步骤6.ASIP核心应用
有3种ASIP应用方式(ASIP在工程上的实现方式):
(1)选用商业软核
有些商业软核支持ASIP CI形式,如Altera NIOS。对需要加速的核心算法设计CI即可,Altera提供了完善的工具链。
(2)移植开源核心
选择开源核心,如OpenRISC、MIPS等在ALU中加入CI模块;同时要针对CI修改GCC工具链。
(3)定制全新IP Core
这种方式可以充分利用所用硬件资源,完全面向应用需求;但是需要改造工具链适合ASIP CI需求。
步骤7.主要功能单元设计(实现代码略)
(1)编解码状态机
根据解码芯片输出的ITU656格式编码,数据通道状态机通过数字接口接收其中的样点值和同步信息SAV(有效视频起始)及EAV(有效视频结束),实现分量编解码。
(2)行场同步状态机
根据同步信号与像素时钟获取二维热像信息数据并计数产生定位地址。同步接口状态机主要由4个进程组成:水平消隐、垂直消隐、水平计数和垂直计数。
(3)数据缓存构架
多端口RAM共享方式中一个端口将传感器数据同步采集到RAM中,ASIP从另一端口存取数据进行图像处理,显示控制器再从另一端口提取融合信息显示,实现多主并行操作。
此外还可以采取“乒乓存储器”和“FIFO行缓存”方式。
(4)总线胶合逻辑
ASIP通过总线存取缓存中的数据,因此要设计胶合逻辑以适配不同的总线协议,如ARM AMBA、PCI以及PCIe等。
(5)特征数据处理
热像仪的特征数据主要指十字温度和最大值测温。十字光标及锁存脉冲逻辑都是基于视频二维定位信息,即行、场同步脉冲。根据水平、垂直地址产生十字光标和锁存脉冲,再送入锁存模块对热像数据进行同步锁存。
(6)伪彩色图像增强
为了直观表示红外测量的热像数据,通常采用伪彩色表示方法。即将数据值用RGB颜色来表示。硬联逻辑实现有“数据位直联”、“RAM调色板”等方式。
步骤8.仿真验证
在Altera Quartus(也可以选择Xilinx Vivado,下同)集成环境选择仿真工具中功能仿真进行功能验证、时序仿真进行性能优化。如图3和4所示为仿真验证结果。
步骤9.设计下载
仿真验证无误后,在集成环境中进行综合。最终生成硬件二进制流文件,通过JTAG接口下载到FPGA芯片,形成SoC硬件系统;同时将程序通过USB串口下载到SoC系统中运行。
步骤10.调试与测试
对红外热像仪SoC系统进行软硬件调试与测试,完成整个工程设计及产品研发。

Claims (1)

1.基于ASIP芯片的图像融合红外热像仪,其特征在于:将采集的红外光源图像和可见光源图像,进行图像融合,并将相应算法经过设计优化和处理后定制到ASIP中,最终形成一种以ASIP芯片为处理核心的红外与可见光图像融合的红外热像仪;具体步骤如下:
S1.将采集的可见光源图像和红外光源图像,进行残差加权融合、局部能量融合、残差加权+局部能量融合经典算法融合后,选择综合性能指标最优的算法;
S2.将S1所选定的图像融合算法进行整理和优化,以适应硬联逻辑实现;
S3.使用CPU测试工具运行图像融合算法程序以及红外热像仪主程序,剖析指令运行时频度,挑选出使用频率高的指令,将它们划分为关键路径指令集;
S4.将S3中得到的关键路径指令集定制为ASIP CI,并设计相关用户数据通道;
S5.对红外热像仪的主要SoC功能单元进行设计;具体包括:
(1)编解码状态机,根据解码芯片输出的ITU656格式编码,数据通道状态机通过数字接口接收其中的样点值和同步信息SAV及EAV,实现分量编解码;
(2)行场同步状态机,根据同步信号与像素时钟获取二维热像信息数据并计数产生定位地址;
(3)数据缓存构架,多端口RAM共享方式中一个端口将传感器数据同步采集到RAM中,ASIP从另一端口存取数据进行图像处理,显示控制器再从另一端口提取融合信息显示,实现多主并行操作;
(4)总线胶合逻辑,ASIP通过总线存取缓存中的数据,因此要设计胶合逻辑以适配不同的总线协议;
(5)特征数据处理,热像仪的特征数据指十字温度和最大值测温,十字光标及锁存脉冲逻辑都是基于视频二维定位信息,即行、场同步脉冲,根据水平、垂直地址产生十字光标和锁存脉冲,再送入锁存模块对热像数据进行同步锁存;
(6)伪彩色图像增强,为了直观表示红外测量的热像数据,通常采用伪彩色表示方法;
S6.对结果进行仿真验证、调试与测试,生成ASIP比特流文件,完成红外热像仪ASIP核心设计。
CN201610239573.9A 2016-06-03 2016-06-03 具有asip核心的图像融合红外热像仪 Active CN105957044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610239573.9A CN105957044B (zh) 2016-06-03 2016-06-03 具有asip核心的图像融合红外热像仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610239573.9A CN105957044B (zh) 2016-06-03 2016-06-03 具有asip核心的图像融合红外热像仪

Publications (2)

Publication Number Publication Date
CN105957044A CN105957044A (zh) 2016-09-21
CN105957044B true CN105957044B (zh) 2018-10-02

Family

ID=56918132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610239573.9A Active CN105957044B (zh) 2016-06-03 2016-06-03 具有asip核心的图像融合红外热像仪

Country Status (1)

Country Link
CN (1) CN105957044B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791278A (zh) * 2016-12-30 2017-05-31 金陵科技学院 数据位直联伪彩色设计方法
CN107704650A (zh) * 2017-08-25 2018-02-16 金陵科技学院 采用adl可执行规约的asip设计方法
CN109189717B (zh) * 2018-09-07 2021-12-03 郑州信大先进技术研究院 一种多源数据同步采集系统
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像系统、方法及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561833A (zh) * 2009-05-08 2009-10-21 东南大学 专用指令集处理器的设计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185862B2 (en) * 2010-07-13 2012-05-22 Algotochip Corporation Architectural level power-aware optimization and risk mitigation
US9235670B2 (en) * 2014-02-18 2016-01-12 CODASIP, s.r.o. Method and an apparatus for automatic generation of verification environment for processor design and verification

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561833A (zh) * 2009-05-08 2009-10-21 东南大学 专用指令集处理器的设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Reconfigurable High Performance ASIP Engine for Image Signal Processing;Hsuanchun Liao et al.;《2012 IEEE 26th International Parallel and Distributed Processing Symposium Workshops & PhD Forum》;20120525;第368-375页 *
基于ASIP阵列结构的图像降噪电路设计与实现;赵文元;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090715;正文第12-24页 *

Also Published As

Publication number Publication date
CN105957044A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN105957044B (zh) 具有asip核心的图像融合红外热像仪
CN108268942B (zh) 可配置的加速器框架
CN110717852B (zh) 一种基于fpga的田间视频图像实时分割系统及方法
CN106683171B (zh) 一种GPU多线程纹理映射SystemC建模结构
Cheng et al. iVisual: an intelligent visual sensor SoC with 2790fps CMOS image sensor and 205GOPS/W vision processor
CN106415605A (zh) 用于分布式光学字符识别和分布式机器语言翻译的技术
Kowalczyk et al. Real-time implementation of contextual image processing operations for 4K video stream in Zynq ultrascale+ MPSoC
KR102358940B1 (ko) 하이 레벨 합성에서의 시스템 아키텍처 추출법
Amara et al. Sobel edge detection system design and integration on an FPGA based HD video streaming architecture
CN109871813B (zh) 一种实时图像跟踪方法及系统
CN102025979A (zh) 一种基于双dsp的红外视频实时增强显示装置
CN102759530A (zh) 一种表面质量图像在线检测装置
Xu et al. Fpga-based implementation of ship detection for satellite on-board processing
Cadenas et al. Parallel pipelined array architectures for real-time histogram computation in consumer devices
Schlessman et al. Tailoring design for embedded computer vision applications
Dakre et al. Image enhancement using hardware co-simulation for biomedical applications
Gao et al. High-speed image processing and data transmission based on vivado hls and axi4-stream interface
Tao et al. Utilization of both machine vision and robotics technologies in assisting quality inspection and testing
CN110929688A (zh) 一种水稻杂草识别加速系统的构建方法及其加速方法
Zou et al. A pipelined architecture for real time correction of non-uniformity in infrared focal plane arrays imaging system using multiprocessors
Vitabile et al. Efficient rapid prototyping of image and video processing algorithms
Ren et al. The application of Virtex-II Pro FPGA in high-speed image processing technology of robot vision sensor
Messaoudi et al. Hardware/software implementation of image processing systems based on ARM processor
Clukey Architecture for Real-Time, Low-SWaP Embedded Vision Using FPGAs
Elkeelany et al. Towards real-time embeded system design for video capturing and privacy protection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant