CN109584143B - 一种航空相机图像增强设备以及方法 - Google Patents
一种航空相机图像增强设备以及方法 Download PDFInfo
- Publication number
- CN109584143B CN109584143B CN201811494920.8A CN201811494920A CN109584143B CN 109584143 B CN109584143 B CN 109584143B CN 201811494920 A CN201811494920 A CN 201811494920A CN 109584143 B CN109584143 B CN 109584143B
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- image enhancement
- core
- cores
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 78
- 230000006870 function Effects 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 6
- RZTAMFZIAATZDJ-UHFFFAOYSA-N felodipine Chemical compound CCOC(=O)C1=C(C)NC(C)=C(C(=O)OC)C1C1=CC=CC(Cl)=C1Cl RZTAMFZIAATZDJ-UHFFFAOYSA-N 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- UJKWLAZYSLJTKA-UHFFFAOYSA-N edma Chemical compound O1CCOC2=CC(CC(C)NC)=CC=C21 UJKWLAZYSLJTKA-UHFFFAOYSA-N 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种航空相机图像增强设备，通过FPGA接收航空相机拍摄的原始图像，并通过预设互联线路将原始图像传输至多核DSP；多核DSP包括多个具有独立处理功能的核，多个核针对同一帧原始图像中各个核对应的区域图像分别并行进行实时图像增强处理，并将经过图像增强处理后的处理图像返回至FPGA。本申请通过采用具有高速并行处理大数据图像算法能力的多核处理芯片，针对复杂气象条件下航空相机成像，能够实现实时高分辨率图像增强技术，解决了在阴雨雾霾等复杂气象条件下模糊降质等问题，有效改进了成像质量，便于航空相机图像的后续处理，具有广阔的应用前景。此外，本申请还提供了一种具有上述技术效果的航空相机图像增强方法。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种航空相机图像增强设备以及方法。
背景技术
航空相机受可见光传输距离及成像机理所限，相机所成图像往往存在天气如阴雨雾霾、光线不足等在成像过程中暂时无法克服问题的困扰。为了提升航空相机成像的天气鲁棒性，使航空相机能够适应阴雨雾霾等气象条件下的成像需求，需要对其进行增强图像处理。同时，航空相机成像正朝着大视场、高分辨率的方向发展，大数据量的图像数据对图像算法的实时性提出了更高的要求。
图像增强技术是对图像的一种预处理，其作用是使图像更加清晰。增强图像清晰度的目的主要是便于观察和便于图像的后续处理，单从便于观察角度来说，对算法实时性要求相对较低，有些甚至可以做事后处理。但是便于图像的后续处理角度来说，对实时性要求则要更高。例如在实时图像跟踪等应用领域，实时性差将导致脱靶量滞后甚至目标丢失，会给后续伺服系统带来未知甚至灾难性后果。因此，提供一种实现高分辨率航空相机图像的实时图像增强处理的方案是非常有必要的。
发明内容
本发明的目的是提供一种航空相机图像增强设备以及方法，以实现高分辨率航空相机图像的实时图像增强处理。
为解决上述技术问题，本发明提供一种航空相机图像增强设备，包括FPGA以及多核DSP，所述FPGA与所述多核DSP之间通过预设互联线路建立通信连接；
其中，所述FPGA用于接收航空相机拍摄的原始图像，并通过所述预设互联线路将所述原始图像传输至所述多核DSP；
所述多核DSP包括多个具有独立处理功能的核，多个核用于针对同一帧所述原始图像中各个核对应的区域图像分别并行进行实时图像增强处理，并将经过图像增强处理后的处理图像返回至所述FPGA。
可选地，所述FPGA与所述多核DSP之间通过SRIO总线进行数据通信。
可选地，多核DSP为TMS320C6678多核DSP，具有8个具有独立全处理功能的核。
可选地，所述8个核中的第一核用于接收所述原始图像的一帧图像并进行缓存，第二核至第八核用于在一帧图像接收完成之后，分别对当前帧图像对应的区域图像进行图像增强处理，通过核间同步等待各个核完成图像增强处理之后，通过所述第一核将所述处理图像返回至所述FPGA。
可选地，所述多核DSP中的共享内存区域设置有表示原始图像的一帧图像接收完成的标志位，以便在所述标志位置位后各个核进行并行图像增强处理。
可选地，所述缓存为设置在所述多核DSP外部的DDR。
可选地，所述DSP采用EDMA3方式实现各个存储内核之间的数据搬移。
可选地，还包括：与所述FPGA通过视频接口相连的显示设备和/或存储设备。
本发明还提供了一种航空相机图像增强方法，包括：
接收航空相机拍摄的原始图像；
多核DSP中的多个核针对同一帧所述原始图像中各个核对应的区域图像分别并行进行实时图像增强处理；
将经过图像增强处理的处理图像进行返回。
可选地，所述进行实时图像增强处理包括：
采用
对所述原始图像进行对数变换，经过对数变换之后的图像再进行图像拉伸，以完成实时图像增强处理；
其中，Z(x,y)是增强后的处理图像，I(x,y)是所要增强的原始图像，LogI(x,y)是对原始图像的对数变换，LogImax和LogImin分别是原始图像最大值以及原始图像最小值对应的对数变换值，N代表原始图像的位数；Imax＝Imax_orig-IStdDev；Imin＝Imin_orig+IStdDev，IStdDev为原始图像的标准差，Imax_orig是原始图像的最大值，Imin_orig是原始图像的最小值。
本发明所提供的航空相机图像增强设备，通过FPGA接收航空相机拍摄的原始图像，并通过预设互联线路将原始图像传输至多核DSP；多核DSP包括多个具有独立处理功能的核，多个核针对同一帧原始图像中各个核对应的区域图像分别并行进行实时图像增强处理，并将经过图像增强处理后的处理图像返回至FPGA。本申请通过采用具有高速并行处理大数据图像算法能力的多核处理芯片，针对复杂气象条件下航空相机成像，能够实现实时高分辨率图像增强技术，解决了高分辨率航空相机图像在阴雨雾霾等复杂气象条件下模糊降质等问题，有效改进了成像质量，便于航空相机图像的后续处理，具有广阔的应用前景。此外，本申请还提供了一种具有上述技术效果的航空相机图像增强方法。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的航空相机图像增强设备的一种具体实施方式的结构框图；
图2为本申请所提供的航空相机图像增强设备的一种具体实施方式的示意图；
图3为本发明实施例提供的航空相机图像增强方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的航空相机图像增强设备的一种具体实施方式的结构框图如图1所示，该设备包括FPGA 1以及多核DSP 2，所述FPGA 1与所述多核DSP 2之间通过预设互联线路建立通信连接；
其中，所述FPGA 1用于接收航空相机拍摄的原始图像，并通过所述预设互联线路将所述原始图像传输至所述多核DSP 2；
所述多核DSP 2包括多个具有独立处理功能的核，多个核用于针对同一帧所述原始图像中各个核对应的区域图像分别并行进行实时图像增强处理，并将经过图像增强处理后的处理图像返回至所述FPGA 1。
本实施例中，FPGA 1可以作为一种调度使用，图像处理算法主要靠高速处理信号处理芯片多核DSP 2完成。
作为一种优选实施方式，本申请中多核DSP 2可以采用TMS320C6678多核DSP，其具有8个具有独立全处理功能的核。TMS320C6678是一款超高性能支持定点和浮点运算的DSP处理器，它基于TI公司的KeyStone多核架构，工作时钟最高能达到1.25GHz。该DSP拥有8个独立的具有全处理功能的核(Core)，每个核内包括的一级程序存储器(L1P)32KB和一级数据存储器(L1D)32KB以及512KB的二级缓存(SL2)。除此之外的8个核共享4096KB的共享内存(MSM)和最多配至2GB的外部DDR3存储器。整个芯片提供320GMAC定点计算和160GFLOP浮点计算能力，该DSP还具有丰富的外设接口，包括SerialRapidIO(SRIO)，PCIe，HyperLink，EMIF，I2C等接口用于数据传输。
本申请实施例中采用FPGA接收航空相机图像，通过SRIO总线实现FPGA核多核DSP6678的图像数据交互。SRIO是面向嵌入式系统开发提出的高可靠、高性能、基于包交换的新一代高速互联技术。串行RapidIO包含一个3层结构的协议，即物理层、传输层、逻辑层，可选的1.25Gbps、2.5Gbps、3.125Gbps和5Gbps四种速度能满足不同应用需求，是嵌入式系统互联的最佳选择之一，本发明在FPGA和多核DSP6678之间通过SRIO总线实现图像以及数据的通信。
以多核DSP为TMS320C6678为例，8个核中的第一核用于接收所述原始图像的一帧图像并进行缓存，第二核至第八核用于在一帧图像接收完成之后，分别对当前帧图像对应的区域图像进行图像增强处理，通过核间同步等待各个核完成图像增强处理之后，通过所述第一核将所述处理图像返回至所述FPGA。其中，缓存为设置在所述多核DSP外部的DDR。
为实现多核之间的同步，多核DSP中的共享内存区域设置有表示原始图像的一帧图像接收完成的标志位，以便在所述标志位置位后各个核进行并行图像增强处理。
在上述任一实施例的基础上，本申请所提供的设备还可以进一步包括：与所述FPGA通过视频接口相连的显示设备和/或存储设备。
本发明所提供的航空相机图像增强设备，通过FPGA接收航空相机拍摄的原始图像，并通过预设互联线路将原始图像传输至多核DSP；多核DSP包括多个具有独立处理功能的核，多个核针对同一帧原始图像中各个核对应的区域图像分别并行进行实时图像增强处理，并将经过图像增强处理后的处理图像返回至FPGA。本申请通过采用具有高速并行处理大数据图像算法能力的多核处理芯片，针对复杂气象条件下航空相机成像，能够实现实时高分辨率图像增强技术，解决了高分辨率航空相机图像在阴雨雾霾等复杂气象条件下模糊降质等问题，有效改进了成像质量，便于航空相机图像的后续处理，具有广阔的应用前景。
参照图2本申请所提供的航空相机图像增强设备的一种具体实施方式的示意图，下面对本申请所提供的设备的具体实施过程进行进一步阐述。首先，FPGA接收相机图像通过SRIO输出给多核DSP TMS320C6678，多核DSP6678的核0将接收图像缓存到DDR3中并实现图像的流控；其次，TMS320C6678的核1至核7分别利用图像增强技术，实现每个核所对应区域图像的实时图像增强处理，通过核间同步控制各个核图像增强算法处理同一帧图像；最后，TMS320C6678的核0将处理后的一帧图像整合通过SRIO传递给FPGA，FPGA通过外接的视频接口将图像输出到显示或者存储设备。
传统的单核DSP数字信号处理芯片在处理高分辨率图像算法时，会存在运算速度的瓶颈，无法实现实时的图像算法处理。TMS320C6678的8个核可以并行的进行图像增强算法的运算，每一个核工作时钟最高都可以设定为1.25GHz。在进行图像增强算法的运算时，DSP6678的核0专门负责原始视频图像的接收与处理后图像的发送，核0接收完一帧图像后将其存储在DSP6678外挂的DDR中，并在共享内存区域设置一个接收完成的标志位，其他核等待标志位置位，当检测到标志位置位后，各个核分别对当帧图像的相应区域进行图像增强算法的运算，通过核间同步等待各个核完成图像处理算法，最终核0将处理后的图像通过视频接口输出到显示或者存储设备。
SYS/BIOS是一个可扩展的实时内核，其提供了许多模块化的应用程序接口，支持抢占式多线程，硬件抽象，实时分析和配置工具，其设计目的是为了最大限度地减少对内存和CPU的要求。其拥有很多实时嵌入式操作系统的功能，如任务的调度，任务间的同步和通信，内存管理，实时时钟管理，中断服务管理等。SYS/BIOS可以实现复杂的多线程程序，并且会占用更少的CPU和内存资源。本申请设计的软件框架中需要创建接收图像的任务，实现图像增强算法的任务，以及发送图像的任务，所有的任务都通过SYS/BIOS进行管理，在执行Biso_Start后开始执行任务。
多核DSP6678程序优化的关键问题之一是如何合理使用存储器SRAM和Cache，SRAM和Cache的存储器主要包括内核子系统的L1P、L1D和LL2，每一区域都支持全部的SRAM映射、全部高速Cache缓存以及两者的混合配置。但SRAM和高速Cache缓存之间的Cache流向必须是严格控制的。被配置为SRAM的LL2和SL2性质的MSM，只能使用本地L1D、L1P作为Cache缓存区域。而MSM和DDR3作为SL3SRAM，只能配置本地L2作为Cache区域。本申请在实现图像增强算法时，由于算法多核并行计算需求，需要频繁访问共享内存区域，在使用共享内存区域时就要做相应的Cache维护，在读取共享内存数据时需要做Cache无效操作，在向内存中写入数据时需要做Cache写回操作，以确保各个核都能够正确处理存储在共享内存中的数据，合理的使用高速Cache缓存是实现图像增强算法实时处理的基础。高帧频、高分辨率的航空相机图像带来了大量的图像待处理数据。从提高算法处理性能角度分析，数据放在越接近内核的位置，越有利于图像数据的快速访存处理，但DSP内核本地存储器空间有限，共享内存和扩展存储器空间较大但相比较于内核访存性能下降。因此本申请将DSP6678接收到的大量图像数据缓存于外部存储器DDR空间，而将查找表等数据存储在共享内存的空间中，在需要大数据搬移时采用Enhanced DMA3(EDMA3)方式实现各存储器间的数据搬移，EDMA3无需内存干预就能够实现DSP6678各个存储内核的大量数据交互，合理的数据交互方式是保证算法实时性的基础。
CCS V5.3是新一代的TI DSP开发环境，基于开源软件WorkBench设计。对DSP进行代码编译，在线调试均在CCS环境内完成。在编写代码前首先要进行工程配置，加载SYS/BIOS和NDK，以及对其必需的模块进行选择加载，对内存分配进行管理，设置主进程、任务以及中断等。本申请基于多核DSP6678平台，通过CCSV5.3对图像增强算法进行优化编程，最终实现板级实时的图像增强技术。
本申请基于多核DSP的航空相机图像增强技术，通过将多核DSP6678与FPGA相结合的方案，能够实现实时稳定的图像增强技术。本申请实现了航空相机在阴雨雾霾等复杂气象条件下的图像增强功能，具有良好的实时处理能力，有着广阔的应用市场和研究价值。
下面对本发明实施例提供的航空相机图像增强方法进行介绍，下文描述的航空相机图像增强方法与上文描述的航空相机图像增强装置可相互对应参照。
图3为本发明实施例提供的航空相机图像增强方法的流程图，参照图3航空相机图像增强方法可以包括：
步骤S101：接收航空相机拍摄的原始图像；
步骤S102：多核DSP中的多个核针对同一帧所述原始图像中各个核对应的区域图像分别并行进行实时图像增强处理；
步骤S103：将经过图像增强处理的处理图像进行返回。
其中，在图像处理领域，对因阴雨雾霾等影响造成图像模糊应用比较广泛的数学模型如下所示：
I(x)＝J(x)·t(x)+A[1-t(x)]
其中I(x)表示成像设备对真实场景所成的观察图像即受雾霾影响所成图像，J(x)表示真实场景图像即不受雾霾影响的理想图像，t(x)表示成像设备对光线的接收比例即光介质传输系数，A表示大气背景光强度。对图像进行增强处理的实质是对公式从左至右的逆推过程即已知观察图像I(x)求理想图像J(x)。在实际的应用场景中，因为空气具有自主流动性，在有限空间内可以认为大气介质是均匀的其光传输系数不变可用式进行表示：
t(x)＝e-βd(x)
其中β表示大气散射系数，d(x)表示场景图像的深度信息。
本发明主要采取对图像进行对数变换结合图像拉伸的策略进行图像增强。对数变换使一窄带低灰度输入图像值映射为一宽带输出值，相对的是输入灰度的高调整值，可以利用这种变换来扩展被压缩的高值图像中的暗像素，相对的是反对数变换的调整。
具体地，进行实时图像增强处理的过程可以为：
采用
对所述原始图像进行对数变换，经过对数变换之后的图像再进行图像拉伸，以完成实时图像增强处理；
其中，Z(x,y)是增强后的处理图像，I(x,y)是所要增强的原始图像，LogI(x,y)是对原始图像的对数变换，LogImax和LogImin分别是原始图像最大值以及原始图像最小值对应的对数变换值，N代表原始图像的位数；Imax＝Imax_orig-IStdDev；Imin＝Imin_orig+IStdDev，IStdDev为原始图像的标准差，Imax_orig是原始图像的最大值，Imin_orig是原始图像的最小值。将图像最大值减去图像标准差做为新的图像最大值，将图像最小值加上图像标准差做为新的图像最小值。使用新的图像极值，相当于一个图像拉伸的过程，能够增大图像对比度，有效提高图像成像质量，标准差的计算公式如下所示。
其中σ为总体X的标准差，μ是总体X的均值。
本实施例的航空相机图像增强方法为前述的航空相机图像增强设备的实施方法，因此航空相机图像增强方法中的具体实施方式可见前文中的航空相机图像增强设备的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本申请通过FPGA接收航空相机拍摄的原始图像，并通过预设互联线路将原始图像传输至多核DSP；多核DSP包括多个具有独立处理功能的核，多个核针对同一帧原始图像中各个核对应的区域图像分别并行进行实时图像增强处理，并将经过图像增强处理后的处理图像返回至FPGA。本申请通过采用具有高速并行处理大数据图像算法能力的多核处理芯片，针对复杂气象条件下航空相机成像，能够实现实时高分辨率图像增强技术，解决了高分辨率航空相机图像在阴雨雾霾等复杂气象条件下模糊降质等问题，有效改进了成像质量，便于航空相机图像的后续处理，具有广阔的应用前景。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的航空相机图像增强设备以及方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种航空相机图像增强设备，其特征在于，包括FPGA以及多核DSP，所述FPGA与所述多核DSP之间通过预设互联线路建立通信连接；
其中，所述FPGA用于接收航空相机拍摄的原始图像，并通过所述预设互联线路将所述原始图像传输至所述多核DSP；
所述多核DSP包括多个具有独立处理功能的核，多个核用于针对同一帧所述原始图像中各个核对应的区域图像分别并行进行实时图像增强处理，并将经过图像增强处理后的处理图像返回至所述FPGA；
所述进行实时图像增强处理包括：
采用
对所述原始图像进行对数变换，经过对数变换之后的图像再进行图像拉伸，以完成实时图像增强处理；
其中，Z(x,y)是增强后的处理图像，I(x,y)是所要增强的原始图像，LogI(x,y)是对原始图像的对数变换，LogImax和LogImin分别是原始图像最大值以及原始图像最小值对应的对数变换值，N代表原始图像的位数；Imax＝Imax_orig-IStdDev；Imin＝Imin_orig+IStdDev，IStdDev为原始图像的标准差，Imax_orig是原始图像的最大值，Imin_orig是原始图像的最小值。
2.如权利要求1所述的航空相机图像增强设备，其特征在于，所述FPGA与所述多核DSP之间通过SRIO总线进行数据通信。
3.如权利要求1或2所述的航空相机图像增强设备，其特征在于，多核DSP为TMS320C6678多核DSP，具有8个具有独立全处理功能的核。
4.如权利要求3所述的航空相机图像增强设备，其特征在于，所述8个核中的第一核用于接收所述原始图像的一帧图像并进行缓存，第二核至第八核用于在一帧图像接收完成之后，分别对当前帧图像对应的区域图像进行图像增强处理，通过核间同步等待各个核完成图像增强处理之后，通过所述第一核将所述处理图像返回至所述FPGA。
5.如权利要求4所述的航空相机图像增强设备，其特征在于，所述多核DSP中的共享内存区域设置有表示原始图像的一帧图像接收完成的标志位，以便在所述标志位置位后各个核进行并行图像增强处理。
6.如权利要求5所述的航空相机图像增强设备，其特征在于，所述缓存为设置在所述多核DSP外部的DDR。
7.如权利要求6所述的航空相机图像增强设备，其特征在于，所述DSP采用EDMA3方式实现各个存储内核之间的数据搬移。
8.如权利要求7所述的航空相机图像增强设备，其特征在于，还包括：与所述FPGA通过视频接口相连的显示设备和/或存储设备。
9.一种航空相机图像增强方法，其特征在于，包括：
接收航空相机拍摄的原始图像；
多核DSP中的多个核针对同一帧所述原始图像中各个核对应的区域图像分别并行进行实时图像增强处理；
将经过图像增强处理的处理图像进行返回；
所述进行实时图像增强处理包括：
采用
对所述原始图像进行对数变换，经过对数变换之后的图像再进行图像拉伸，以完成实时图像增强处理；
其中，Z(x,y)是增强后的处理图像，I(x,y)是所要增强的原始图像，LogI(x,y)是对原始图像的对数变换，LogImax和LogImin分别是原始图像最大值以及原始图像最小值对应的对数变换值，N代表原始图像的位数；Imax＝Imax_orig-IStdDev；Imin＝Imin_orig+IStdDev，IStdDev为原始图像的标准差，Imax_orig是原始图像的最大值，Imin_orig是原始图像的最小值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811494920.8A CN109584143B (zh) | 2018-12-07 | 2018-12-07 | 一种航空相机图像增强设备以及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811494920.8A CN109584143B (zh) | 2018-12-07 | 2018-12-07 | 一种航空相机图像增强设备以及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584143A CN109584143A (zh) | 2019-04-05 |
| CN109584143B true CN109584143B (zh) | 2023-06-30 |
Family
ID=65929034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811494920.8A Active CN109584143B (zh) | 2018-12-07 | 2018-12-07 | 一种航空相机图像增强设备以及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109584143B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112804443A (zh) * | 2020-12-29 | 2021-05-14 | 中国科学院半导体研究所 | 图像处理方法及应用其的高速智能相机 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101472113A (zh) * | 2007-12-29 | 2009-07-01 | 深圳艾科创新微电子有限公司 | 一种数字图像亮度对比度增强装置 |
| CN104104888A (zh) * | 2014-07-01 | 2014-10-15 | 大连民族学院 | 一种并行多核fpga数字图像实时缩放处理方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102946529B (zh) * | 2012-10-19 | 2016-03-02 | 华中科技大学 | 基于fpga和多核dsp的图像传输及处理系统 |
| CN105469373B (zh) * | 2014-09-04 | 2018-07-31 | 南京理工大学 | 一种Retinex图像增强方法及系统 |
| CN108288247B (zh) * | 2017-12-07 | 2021-04-20 | 中国航空工业集团公司西安航空计算技术研究所 | 一种多核dsp平台上的实时图像细节增强方法 |
-
2018
- 2018-12-07 CN CN201811494920.8A patent/CN109584143B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101472113A (zh) * | 2007-12-29 | 2009-07-01 | 深圳艾科创新微电子有限公司 | 一种数字图像亮度对比度增强装置 |
| CN104104888A (zh) * | 2014-07-01 | 2014-10-15 | 大连民族学院 | 一种并行多核fpga数字图像实时缩放处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584143A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107527317B (zh) | 基于图像处理的数据传输系统 | |
| CN111143174B (zh) | 在共享功率/热约束下操作的硬件的最佳操作点估计器 | |
| US8639730B2 (en) | GPU assisted garbage collection | |
| CN115481286A (zh) | 使用一个或更多个神经网络的视频上采样 | |
| CN108737724A (zh) | 用于360视频捕获和显示的系统和方法 | |
| CN116050495A (zh) | 用稀疏数据训练神经网络的系统和方法 | |
| CN107562660B (zh) | 一种视觉slam的片上系统及数据处理方法 | |
| CN111383159A (zh) | 用于加速叶节点中的相交的标量引擎集群 | |
| CN112149795A (zh) | 用于自监督事件学习与异常检测的神经架构 | |
| US11463272B2 (en) | Scalable in-network computation for massively-parallel shared-memory processors | |
| WO2018120446A1 (zh) | 一种面向实时目标识别的异构处理机并行协调处理方法 | |
| US10789194B2 (en) | Techniques for efficiently synchronizing data transmissions on a network | |
| US20190050309A1 (en) | Scheduling periodic cpu core diagnostics within an operating system during run-time | |
| DE102020108476A1 (de) | Mechanismus zum Ausführen nichtlinearer Funktionen in einem Beschleuniger des maschinellen Lernens | |
| US20220036632A1 (en) | Post-processing in a memory-system efficient manner | |
| US20230138718A1 (en) | Illumination resampling using temporal gradients in light transport simulation systems and applications | |
| DE102021125626A1 (de) | Licht-resampling mit flächenähnlichkeitsprüfung | |
| CN109584143B (zh) | 一种航空相机图像增强设备以及方法 | |
| CN110766600B (zh) | 一种分布式架构的图像处理系统 | |
| KR102606747B1 (ko) | 픽셀 기입 데이터를 위한 압축 기법들 | |
| CN111813736B (zh) | 片上系统及信号处理方法 | |
| DE102020108215A1 (de) | Bedienflächenzugriff mittels flacher Speicherzuordnung | |
| US20210263501A1 (en) | Fpga-based acceleration using opencl on fcl in robot motion planning | |
| Tan et al. | Parallel implementation and optimization of high definition video real-time dehazing | |
| CN113704156B (zh) | 感知数据处理装置、板卡、系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |