CN204498223U - 一种红外图像处理芯片 - Google Patents

Abstract

本实用新型提供一种红外图像处理芯片，所述芯片为系统级芯片，包括图像处理引擎模块、与图像处理引擎模块相连用于向所述图像处理引擎模块提供所需参数的主控处理模块，所述图像处理引擎模块对红外焦平面阵列和主动前端进行时序控制，接收所述主动前端输出的红外数字图像信号，处理并转换为模拟信号输出，所述红外图像处理芯片还包括外设接口模块和对所述红外焦平面阵列进行温度控制的温控处理器模块；其中，图像处理引擎模块包括图像数据直接存取模块。本实用新型的红外图像处理芯片具功耗低处理性能强、可靠性和稳定性更高，量产成本低，兼具专业性和通用性。

Description

一种红外图像处理芯片

【技术领域】

本实用新型涉及红外波段成像技术，特别是一种红外图像处理芯片。

【背景技术】

红外波段成像技术是指通过检测物体热辐射的红外波段信号并转换为可供人类视觉分辨的图像和图形的技术，主要包括红外成像传感器技术以及后续的红外图像处理技术。由于受红外探测器固有特性的影响，红外探测器需要在特定温度下工作才可以获得稳定响应图像，且应用红外成像传感器技术得到的红外图像存在像元阵列响应非均匀性、图像对比度模糊、边缘分辨率模糊等问题，还存在随机干扰和竖条纹干扰等一系列特有缺陷。这些问题均需要通过红外图像处理技术解决。因此，红外图像处理工作比可见光波段图像处理更复杂，且对红外图像处理系统的实时处理性能和可靠性要求更为苛刻。

现有技术通常采用红外焦平面阵列(IRFPA)实现红外图像处理。现有的IRFPA处理电路均采用FPGA(Field-Programmable GateArray,现场可编程门阵列)或DSP(Digital Signal Processor，数字信号处理器)结合FPGA加以实现，温控部分采用专用模拟控制芯片实现。

采用FPGA、或DSP结合FPGA实现IRFPA处理电路，其处理性能受器件与应用水平限制，且系统构成需要大量外围元器件，如FPGA的配置芯片、DA等，导致IRFPA处理电路功耗较大。温控采用专用模拟控制芯片，体积大、精度低、不可定制和升级。为了减低功耗或减少体积，只能以牺牲红外图像处理的系统性能或功能为代价。随着红外探测器的像元尺寸越来越大(向高分辨率发展)、应用要求越来越高(向高帧率处理发展)，使用传统的FPGA、或DSP结合FPGA实现的IRFPA处理电路将越来越难以满足日益增长的系统小型化要求。

【实用新型内容】

本实用新型的目的在于克服现有技术缺陷，提供一种体积小、功耗小、性能高的基于SoC架构的红外图像处理芯片。

为了实现上述目的，本实用新型提供一种红外图像处理芯片，所述红外图像处理芯片为系统级芯片，其中，所述红外图像处理芯片包括图像处理引擎模块、与图像处理引擎模块相连用于向所述图像处理引擎模块提供所需参数的主控处理模块，所述图像处理引擎模块对红外焦平面阵列和主动前端进行时序控制，接收所述主动前端输出的红外数字图像信号，处理并转换为模拟信号输出，所述红外图像处理芯片还包括外设接口模块和对所述红外焦平面阵列进行温度控制的温控处理器模块；

所述图像处理引擎模块包括用于对红外焦平面阵列和主动前端进行时序控制的可编程时序控制器子模块，和分别与所述可编程时序控制器子模块相连的像元采集子模块、非均匀性校正处理子模块、盲元处理子模块、灰度统计子模块、灰度变换子模块、模板滤波器子模块、视频编码器子模块、远程数字视频输出子模块、行缓存子模块和图像数据直接存取模块。

在本实用新型中，可编程时序控制器子模块用于对红外焦平面阵列和主动前端进行时序控制。

像元采集子模块用于接收所述主动前端输出的红外数字图像信号。

非均匀性校正处理子模块用于对所述红外数字图像信号进行非均匀性校正。

盲元处理子模块用于对经过非均匀性校正的红外数字图像信号进行盲元检测和盲元替换处理。

灰度统计子模块用于对像元采集子模块接收到红外数字图像信号进行灰度统计。

灰度处理子模块可根据灰度统计子模块的统计结果，对经过盲元处理的红外数字图像信号进行灰度替换与灰度增强处理。

模板滤波器子模块可对经过灰度处理的红外数字图像信号进行降低随机干扰和竖条纹干扰的处理。

视频编码器子模块用于将模板滤波器子模块处理后的数字图像信号转换成复合视频信号并输出。

远程数字视频输出子模块用于将像元采集子模块接收至灰度处理子模块处理后任意处理阶段的红外数字图像信号进行远程输出。

行缓存子模块用于缓存图像处理所需要的参数。

外设接口模块用于提供与外部设备的接口。

图像数据直接存取模块用于在内部行缓存与外部SDRAM和FLASH直接进行直接图像储存，可将处理好的存储在行缓存内的图像直接存入外部SDRAM和FLASH形成整幅图像，不需主处理器的干预，提高了存储的速度和效率，节省处理器资源。

优选地，所述外设接口模块包括外部存储器接口子模块和输入输出设备接口子模块。

根据一种优选的实施方式所述输入输出设备接口子模块包括分别与外部存储器接口子模块相连的通用异步接收/发送装置、键盘控制器、安全数码卡控制器和总线扩展器。

在本实用新型中，所述主控处理模块包括主控微处理器核、分别与所述主控微处理器核相连的总线开关矩阵和总线桥，所述总线开关矩阵也与可编程时序控制器相连，所述总线开关矩阵还通过高速总线连接到行缓存和外部存储器接口子模块。

在本实用新型中，主控微处理器核用于为所述图像处理引擎模块提供所需的参数。

总线开关矩阵用于将所述主控微处理器核和所述图像处理引擎的各个模块连接到所述红外图像处理芯片的高速总线上。

总线桥用于将所述红外图像处理芯片的低速总线连接到所述高速总线上，所述低速总线上连接有所述输入输出设备接口子模块。

优选的，本实用新型的总线桥通过低速总线分别与所述输入输出设备接口子模块连接，并通过高速总线与总线开关矩阵模块连接。

根据一种优选的实施方式，所述图像数据直接存储模块分别连接行缓存和外部存储器接口子模块。

在本实用新型中，所述温控处理器支持可定制的基于脉冲幅度调整(PWM)技术的高精度PID温控算法。

本实用新型涉及的算法均为本领域公知技术，因此不作赘述。

本实用新型的红外图像处理芯片具有相互独立的两组外部SDRAM接口，能将片内图像处理引擎模块的数据流通路与片内主控微处理器核的软件算法处理所需的数据流通路进行分离，并通过内部的总线开关矩阵对这两组数据流通路需要实现共享的数据进行适时交换。这种SoC数据总线中心交换结构极大地减少了处理数据流的冲突仲裁所带来的阻塞，很好地解决了实时红外图像处理与各级流水线处理之间的数据共享之间的数据竞争问题。

【附图说明】

图1为本实用新型的红外图像处理芯片结构示意图；

图2为本实用新型的红外成像系统结构示意图。

【具体实施方式】

以下实施例用于非限制性地解释本实用新型的技术方案。本领域技术人员可借鉴本实用新型的内容，适当改变模块、结构、连接关系、材料、参数等环节来实现相应的其它目的，其相关改变都没有脱离本实用新型的内容，所有类似的替换和改动对于本领域技术人员来说是显而易见的，都应当被视为包括在本实用新型的范围之内。

实施例1

基于SoC架构的红外图像处理芯片，以单芯片的形式实现红外图像处理电路，实现了红外图像处理电路的小型化，进而提高了红外成像系统整体的实时性、可靠性。结构如图1所示。

其中，图像处理引擎模块用于对IRFPA和AFE进行时序控制，接收AFE输出的红外数字图像信号，对红外数字图像信号进行处理并转换为标准模拟信号输出。包括用于对红外焦平面阵列和主动前端进行时序控制的可编程时序控制器子模块，和分别相连的像元采集子模块、非均匀性校正处理子模块、盲元处理子模块、灰度统计子模块、灰度变换子模块、模板滤波器子模块、视频编码器子模块、远程数字视频输出子模块、行缓存子模块和图像数据直接存取模块。

可编程时序控制器子模块，用于对IRFPA和AFE进行时序控制；

像元采集子模块，用于接收所述AFE输出的红外数字图像信号；

非均匀性校正处理子模块，用于对所述红外数字图像信号进行非均匀性校正；

盲元处理子模块，用于对经过非均匀性校正的红外数字图像信号进行盲元检测和盲元替换处理；

灰度统计子模块，用于对象元采集子模块接收到红外数字图像信号进行灰度统计；

灰度处理子模块，用于对经过盲元处理的红外数字图像信号进行灰度替换与灰度增强处理；

模板滤波器子模块，用于对经过灰度处理的红外数字图像信号进行降低随机干扰和竖条纹干扰的处理；

视频编码器子模块，用于将模板滤波器子模块处理后的数字图像信号转换成复合视频信号并输出；

远程数字视频输出子模块，用于将像元采集子模块接收至灰度处理子模块处理后任意处理阶段的红外数字图像信号进行远程输出；

行缓存子模块，用于对图像处理所需要的参数进行缓存；

图像数据直接存取模块，用于在内部行缓存与外部SDRAM和FLASH直接进行直接图像储存，可将处理好的存储在行缓存内的图像直接存入外部SDRAM和FLASH形成整幅图像，不需主处理器的干预，提高了存储的速度和效率，节省处理器资源。

主控处理模块用于提供图像处理引擎模块需要的参数。

其中，图像处理引擎模块需要的参数可以包括但不限于：非均匀性校正所需的校正系数、盲元处理所需的坏点系数、灰度处理所需要的参数等等。

温控处理器模块，用于对IRFPA进行温度控制。

外设接口模块，用于提供与外部设备连接的接口。

外部设备可以但不仅限于包括：外部存储器设备，如SDRAM、Flash(闪存)；输入输出设备，如串口、键盘、SD卡或其他外设。

外设接口模块进一步包括：外部存储器接口子模块，如外存控制器、DMA(直接内存存取)控制器；输入输出设备接口子模块，如UART(通用异步接收/发送装置)、键盘控制器、SD卡控制器、GPIO(通用输入/输出)。

其中，外存控制器提供了芯片与外部存储设备的接口；

DMA控制器使得控制外存控制器按照DMA方式读写数据；

UART提供了芯片与串口设备的接口；

键盘控制器提供了芯片与键盘的接口；

SD卡控制器提供了芯片与SD卡的接口；

GPIO提供了芯片与其他通用输入输出外部设备的接口。

主控处理模块进一步包括：主控微处理器核、总线开关矩阵、总线桥。

主控微处理器核和图像处理引擎模块的各个子模块通过总线开关矩阵接入所述红外图像处理芯片的高速总线；外设接口模块的输入输出设备接口子模块接入所述红外图像处理芯片的低速总线，所述低速总线通过总线桥接入所述高速总线；另外，外设接口模块的外部存储器接口子模块和图像处理引擎模块的行缓存子模块直接接入所述高速总线。

与传统的SoC设计不同，本实施例的红外图像处理芯片有相互独立的两组外部SDRAM接口，将片内图像处理引擎模块的数据流通路与片内主控微处理器核的软件算法处理所需的数据流通路进行分离，并通过内部的总线开关矩阵对这两个数据流通路需要实现共享的数据进行适时交换。这种创新的SoC数据总线中心交换结构极大地减少了处理数据流的冲突仲裁所带来的阻塞，很好地解决了实时红外图像处理与各级流水线处理之间的数据共享之间的数据竞争问题。

更具体地，图1所示的红外图像处理芯片为一款基于SoC技术架构的数模混合图像信号处理芯片。其总体工作处理流程可以概括为：对IRFPA和AFE进行时序控制，为IRFPA和AFE提供精确的控制时序驱动；接收由IRFPA输出并经AFE量化的14-bit红外数字图像信号；对红外数字图像信号进行非均匀性校正处理、盲元检测与替换处理、图像灰度变换与增强处理、竖条纹滤波等处理；处理后的数字图像信号经10-bit视频编码器转换为标准CCIR制式的复合视频信号输出显示。

该芯片主要由图像处理引擎模块、主控处理模块、温控模块和外设接口模块四部分组成。

一、图像处理引擎模块

1、可编程时序控制器

不同厂商提供的IRFPA的控制信号和输出格式不尽相同。为了尽可能实现通用的无缝对接，本实施例中，可编程时序控制器为具有灵活、强大的可编程时序发生功能的模块。

可编程时序控制器由PLL(锁相环)电路和DLL(延迟锁相环)电路结合实现，其具体实现方式可参考现有的可编程时序控制器实现技术，这里不再赘述。

可编程时序控制器用于对IRFPA进行时序控制，还用于控制所述IRFPA的模拟电压信号的调理。还用于对AFE进行时序控制。具体的，控制AFE的采样时钟SCLK输出为与MCLK同频、同步且相位差可调，相位差调整精度为1/16MCLK，并允许Gating操作以实现低功耗。

2、像元采集子模块用于接收由IRFPA输出并经过AFE量化的14-bit数字图像信号。

3、用于进行图像处理的各个硬件处理引擎

包括：进行非均匀性校正的硬件处理引擎、进行盲元处理的硬件处理引擎、进行灰度统计的硬件处理引擎、进行灰度处理的硬件处理引擎、和模板滤波器。

硬件处理引擎由专用硬件处理单元与DSP运算单元构成。以进行非均匀性校正的硬件处理引擎为例，其由负责非均匀性校正的专用硬件处理单元和DSP运算单元构成。

进行非均匀性校正的硬件处理引擎(即非均匀性校正处理子模块)，用于对像元采集单元接收到的数字图像信号进行非均匀性校正处理。例如采用经典的两点校正算法，则实现非均匀校正需要两个步骤：计算得到校正系数；按照校正系数进行校正变换处理。校正系数计算针对IRFPA的每一个像元计算出两个系数：增益校正系数和偏移校正系数。计算过程中需要存储临时本底下每一个像元的响应数据，并统计出临时本底下的像元平均响应值，之后根据这个临时本底以及某个预存本底，对每一个像元进行包括乘法、减法和除法的计算，得到校正系数。

进行盲元处理的硬件处理引擎(即盲元处理子模块)，用于对经过非均匀性校正处理的数字图像信号进行盲元检测和盲元替换处理。其目的是发现IFRPA中的坏像元并避免其对图像质量的影响。其中，盲元检测处理是通过逐像素的预存本底与临时本底计算得到的，坏点系数可以由用户设定；坏点系数的计算由内嵌的32-bit MCU Core完成，并将盲元位置表存入外部FLASH存储器。盲元替换处理采用临近像元的线性插值，新像元计算与替换操作由进行盲元处理的硬件处理引擎实时完成。

进行灰度统计的硬件处理引擎(即灰度统计子模块)，对像元采集子模块接收到红外数字图像信号进行灰度统计；

进行灰度处理的硬件处理引擎(即灰度处理子模块)，用于根据灰度统计结果，对经过盲元处理的红外图像数字信号进行灰度替换与灰度增强处理。红外图像具有一个特点，即灰度变化较小的背景往往占据80％以上的视场范围，而目标只占据很小的一部分。因此必须进行图像增强处理，提升目标信息，压缩背景信息，增强对比度，改善图像显示的视觉效果。

模板滤波器(即模板滤波器子模块)，用于随机干扰滤波和竖条纹滤波；

本实施例中，模板滤波器为通用的5×5二维空域滤波器，滤波系数可由用户任意设置。该空域滤波器可设置3×3或5×5网格大小，可以演变为快速3/5点行方向滤波器。

4、视频编码器

视频编码器，用于将硬件处理引擎处理完成的数字红外图像转换为标准VBS复合视频信号输出，可以使用75欧同轴电缆直接连接到CCIR制式的监视器上进行显示。

视频编码器需要实现单一的亮度通道(Y)视频转换，视频转换DAC的亮度分辨率为10-bit。并需要通过采样技术来提高输出信噪比、简化后续模拟重构滤波器的实现结构。

视频编码电路属于本领域的现有技术，在此不再赘述。

5、远程数字视频输出子模块

远程数字视频输出功能用于实现红外数字图像的(远距离)输出。用户可以选择通过该接口输出如下内容：直接转发从IRPFA输出端采集的14-bit裸图像数据；视频编码电路之前的14-bit图像处理结果数据；视频编码电路中数据映射变换之后的10-bit图像数据等。

传统红外热像设备的远程数字视频输出一般采用RS-422/485接口，由于本实施例的芯片能够处理大尺寸的IRFPA，图像数据流很大，因此采用LVDS接口实现远程数字图像输出。

本处理芯片远程数字视频输出接口支持21:3的SERDES数据传输协议，使用独立的差分时钟用于发送端和接收端同步，可以直接使用如DS90CR216A/218A进行解串行接收。

6、行缓存

与高速总线连接，用于缓存图像处理过程中所需要的参数。

二、主控处理模块

图1所示的32-bit MCU Core(32-bit嵌入式处理器核)、片内总线交换结构、外部存储器控制器(独立的双SDRAM控制器+FLASH控制器)和DMA控制器一起构成主控处理模块，为红外图像处理芯片的图像数据存储和数据流控制核心。

该处理器核还配置有如下外设：片内RAM、片外SDRAM接口和FLASH接口；UART和GPIO。

三、温控处理器模块

温控处理器模块由温控MCU实现，例如8051微控制器核，专门用于实现IRFPA的温控PI/PID算法。该温控MCU具有3个可编程GPIO用于产生串行时序，可以从与IRFPA连接的外部ADC读入数字化的IRFPA测温值，2路PWM(脉冲宽度调制)输出用于驱动IRFPA的温度(TE)，可实现闭环温控。用户可以通过可编程GPIO设置期望控制温度，温控MCU按照期望控制温度对IRFPA的温度进行控制。

四、外设模块

包括外存控制器、DMA控制器、UART、键盘控制器、SD卡控制器及GPIO。

由于本实施例的红外图像处理芯片外接两个SDRAM(SDRAMA和SDRAM B)，因此内置两组独立的SDRAM控制器(及外存控制器)，通过DMA控制实现两组独立的SDRAM控制器对行缓存的交互访问，用于实现对片外高速SDRAM存储器的访问，而片外大容量SDRAM则用于各类中间图像数据、计算用数据表等的缓存。

SDRAM控制器支持对片外标准SDRAM的读写访问，根据图像处理的实际要求实现高吞吐率数据传输操作。

SDRAM控制器在片内的接口有两种：与行缓存连接的接口及DMA接口，用于片内行缓存Cache与片外SDRAM之间的数据交换。

FLASH控制器

红外焦平面阵列专用图像处理芯片的FLASH接口支持16-bitNOR型FLASH，用于存储Bootloader/应用程序代码、8051MCU应用程序代码，非均匀校正系数表，盲元表，以及其它一些定制参数等。

FLASH控制器的片内接口同样有两种：与行缓存接口连接，以及一个DMA接口，用于将FLASH中数据以page-mode读出并写入SDRAM或片内RAM。

串行控制接口

通过用户控制接口，用户可以对红外焦平面阵列专用图像处理芯片的工作模式、参数进行配置。基本的工作模式如启动非均匀性系数计算等；工作参数如人工确定盲元、直方图均衡化阈值、插值算法选择等。

用户控制接口选择标准UART，数据传输协议由软件定义。物理接口形式可以采用RS-232或458，由用户选择决定。此外用户控制接口还留出GPIO管脚，支持输入触发中断，允许用户直接以按钮或开关进行基本工作模式选择、光标(分划线)定位等操作。

时钟发生器(PLLs)，用于初始化时钟信号，并为片内各总线提供时钟信号。

本实用新型的红外图像处理芯片采用单片集成实现多项IRFPA控制与红外图像处理、显示的专用功能，而这些功能以往需要多片不同类型的集成电路完成。

通过这种SoC集成，原来至少需要4片PCB构成的焦平面红外成像系统可以减少为仅需要2片PCB。系统可以在更低的功耗下得到更高的处理性能、更高的可靠性和稳定性，可以满足未来红外焦平面阵列器件快速发展的要求，快速构建重量轻、效费比高、适应性强的高性能焦平面红外成像系统。

相对于传统的FPGA、或者DSP结合FPGA实现的红外焦平面阵列处理电路，本实用新型的芯片有以下几个主要优势：1、在更低的功耗下具备更高的处理性能和更强的处理功能。2、提供更高的可靠性和稳定性，能满足工业乃至军用的苛刻工作环境要求。3、更低的量产成本，可以降低红外热成像设备的生产成本，扩大应用市场。4、兼具专业性和通用性，提供开放的供用户进行二次开发的平台。而基于FPGA的实现方案都是用户自定制的产品，具备专用性但缺乏通用性和开放性。

Claims (7)

1.一种红外图像处理芯片，所述红外图像处理芯片为系统级芯片，其特征在于所述红外图像处理芯片包括图像处理引擎模块、与图像处理引擎模块相连用于向所述图像处理引擎模块提供所需参数的主控处理模块，所述图像处理引擎模块对红外焦平面阵列和主动前端进行时序控制，接收所述主动前端输出的红外数字图像信号，处理并转换为模拟信号输出，所述红外图像处理芯片还包括外设接口模块和对所述红外焦平面阵列进行温度控制的温控处理器模块；

所述图像处理引擎模块包括用于对红外焦平面阵列和主动前端进行时序控制的可编程时序控制器子模块，和分别与所述可编程时序控制器子模块相连的像元采集子模块、非均匀性校正处理子模块、盲元处理子模块、灰度统计子模块、灰度变换子模块、模板滤波器子模块、视频编码器子模块、远程数字视频输出子模块、行缓存子模块和图像数据直接存取模块。

2.根据权利要求1所述的红外图像处理芯片，其特征在于所述外设接口模块包括外部存储器接口子模块和输入输出设备接口子模块。

3.根据权利要求2所述的红外图像处理芯片，其特征在于所述输入输出设备接口子模块包括分别与外部存储器接口子模块相连的通用异步接收/发送装置、键盘控制器、安全数码卡控制器和总线扩展器。

4.根据权利要求3所述的红外图像处理芯片，其特征在于所述主控处理模块包括主控微处理器核、分别与所述主控微处理器核相连的总线开关矩阵和总线桥，所述总线开关矩阵也与可编程时序控制器相连，所述总线开关矩阵还通过高速总线连接到行缓存和外部存储器接口子模块。

5.根据权利要求3或4所述的红外图像处理芯片，其特征在于所述总线桥通过低速总线分别与所述输入输出设备接口子模块连接，并通过高速总线与总线开关矩阵模块连接。

6.根据权利要求1所述的红外图像处理芯片，其特征在于所述图像数据直接存储模块分别连接行缓存和外部存储器接口子模块。

7.根据权利要求1所述的红外图像处理芯片，其特征在于所述温控处理器支持可定制的高精度温控算法。