CN107707820A - 基于fpga的航空相机实时电子变倍系统 - Google Patents

基于fpga的航空相机实时电子变倍系统 Download PDF

Info

Publication number
CN107707820A
CN107707820A CN201710911258.0A CN201710911258A CN107707820A CN 107707820 A CN107707820 A CN 107707820A CN 201710911258 A CN201710911258 A CN 201710911258A CN 107707820 A CN107707820 A CN 107707820A
Authority
CN
China
Prior art keywords
image
module
sram
fpga
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710911258.0A
Other languages
English (en)
Inventor
梁超
马天翔
沈宏海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201710911258.0A priority Critical patent/CN107707820A/zh
Publication of CN107707820A publication Critical patent/CN107707820A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

本发明提供一种具有普适性、可以作为独立模块加入到航空相机的成像链路中的基于FPGA的航空相机实时电子变倍系统。包括图像输入模块、SRAM图像存储模块、电子变倍参数设定模块、DRAM存储控制模块、双线性插值模块、图像输出模块；其中，航空相机输入的原始图像经由图像输入模块送入FPGA片内存储器进行暂存，再通过SRAM图像存储模块存入SRAM中等待后续处理，电子变倍参数设定模块接收到电子变倍指令后进行相应的参数计算和设定并输入至双线性插值模块，随后图像由SRAM读出至DRAM中进行双线性插值处理，最后经由图像输出模块进行图像输出，至此完成了航空相机图像的电子变倍处理。

Description

基于FPGA的航空相机实时电子变倍系统
技术领域
本发明属于遥感成像技术领域，涉及一种基于FPGA的航空相机实时电子变倍系统。
背景技术
在航空遥感成像领域中，光电载荷作为图像的源头，其成像性能指标直接影响到后续图像处理精度。随着飞机飞行高度的提升和作战半径的扩大，对光电载荷的光学性能也提出了越来越高的要求。但受限于光学系统的尺寸和性能，光电载荷的焦距并不能够做到无限长，当相机处于最长焦状态时，若观察员对于某个位置的细节感兴趣，则需要对图像进行放大。图像放大是现代数字图像处理领域中的一项重要技术，在航空航天、卫星遥感、通讯、安防等军事及民用领域都有着广泛应用。当其应用于航空光电载荷实时成像时，配合光学变倍，就成为航空相机所要求的电子变倍技术。图像放大一般在上位机采用软件实现，这种实现方式属于后置的图像处理，并不能够保证成像的实时性，在光电载荷进行目标跟踪时，将无法保证对目标的跟踪性能。目前，由于应用需求不同，光电载荷的光学系统大多采用自主设计，同时为了追求大靶面、高帧频、高动态范围的成像性能，大多采用独立的光电探测器成像模块。这种成像模块输出的图像仅仅是经过光学系统成像后的原始图像，若想追求图像细节或者在光学变倍达到极限时获得更大的变倍效果，则需要一种实时的、清晰的、能够进行任意变倍比放大的电子变倍技术。
发明内容
本发明针对上述问题，提供一种具有普适性、可以作为独立模块加入到航空相机的成像链路中的基于FPGA的航空相机实时电子变倍系统。
为实现本发明的上述目的，本发明采用如下技术方案。
一种基于FPGA的航空相机实时电子变倍系统，该实时电子变倍系统在FPGA上实现，包括图像输入模块、SRAM图像存储模块、电子变倍参数设定模块、DRAM存储控制模块、双线性插值模块、图像输出模块；其中，
图像输入模块：根据设定的图像参数对航空相机拍摄到的原始图像数据进行缓存处理，将数据存入FIFO中进行重整时序，然后输出至SRAM图像存储模块；
SRAM图像存储模块：接收重整时序后的图像数据，驱动片外存储器SRAM的读写控制信号，将接收到的图像数据写入SRAM中；
电子变倍参数设定模块：接收电子变倍指令，根据设定的变倍倍率以及图像参数得到电子变倍所需要的原始图像区域坐标以及双线性插值模块所需要的插值加权系数，将计算出的坐标变换为SRAM中的数据存储地址，并将该数据存储地址输出至DRAM存储控制模块，同时将所述插值加权系数输出至双线性插值模块；
DRAM存储控制模块：接收电子变倍参数设定模块计算出的所述数据存储地址，根据此数据存储地址将原始图像数据写入FPGA片内存储器DRAM中，并将原始图像数据输出至双线性插值模块；
双线性插值模块：接收电子变倍参数设定模块计算出的插值加权系数以及DRAM存储控制模块输出的原始图像数据，根据当前像素的坐标与变倍倍率，利用原始图像数据中对应的周围4个像素进行插值加权运算得到当前像素变倍放大后的结果，最后得到电子变倍完成后的图像数据，并将插值放大后的图像数据逐点输出至图像输出模块；
图像输出模块：接收双线性插值模块插值放大后的图像数据，将其按照输出接口协议要求进行时序重建，最终将时序重建后的图像数据按照用户需求输出。
本发明的有益效果是：
1.本发明中的图像输入模块可根据前端相机分辨率和传输模式进行图像数据的接收，并且接收与存储相互独立，保证了模块的普适性。根据实际相机传输参数进行相应设定即可完成与相机接口的对接。
2.本发明采用的是双线性插值放大算法，采用FPGA作为处理芯片，通过其并行处理结构和流水线技术，提高了电子变倍算法的处理速度，使得图像处理的速度更快，实时性更好，并且保证了图像的真实性。
3.本发明中的电子变倍基本参数存储于FPGA片内ROM中，用户可根据项目需求对参数表进行定制，保证了该方法的普适性；同时，以ROM的简单读取操作代替了复杂的变倍参数计算，在接收到电子变倍处理命令后根据实时变倍状态读取ROM中对应地址的数据表即可确定出相应的插值系数，提升了系统的响应速度，保证了电子变倍倍率任意可调。
4.本发明经过调试后，能够完成1024×1024分辨率、帧频30fps的电子变倍处理，倍率从1.0～12.0中任意倍率可调，一帧图像接收完成以后即可进行该帧图像的处理和输出，输出速率取决于后端图像接口要求，因此实际处理延时仅为图像接收时间。
附图说明
图1是本发明基于FPGA的航空相机实时电子变倍系统的结构框图。
具体实施方式
本发明提供一种基于FPGA的航空相机实时电子变倍系统，根据实际需求对电子变倍算法进行了优化，并搭建了硬件实现平台，验证了方法的实际性能。
本发明的基本思想：航空相机输入的原始图像经由图像输入模块送入FPGA片内存储器进行暂存，再通过SRAM图像存储模块存入SRAM中等待后续处理，电子变倍参数设定模块接收到电子变倍指令后进行相应的参数计算和设定并输入至双线性插值模块，随后图像由SRAM读出至DRAM中进行双线性插值处理，最后经由图像输出模块进行图像输出，至此完成了航空相机图像的电子变倍处理。
本发明的电子变倍方法具有图像适应性强、图像处理速度快、电子变倍倍率可调、图像真实性好，并且硬件资源需求少、实现简单，可作为独立模块集成于各类航空遥感成像系统中的图像链路内。
一种基于FPGA的航空相机实时电子变倍系统，包括图像输入模块、SRAM图像存储模块、电子变倍参数设定模块、DRAM存储控制模块、双线性插值模块、图像输出模块；其中，
图像输入模块：根据设定的图像参数对航空相机拍摄到的原始图像数据进行缓存处理，将数据存入FIFO中进行重整时序，然后输出至SRAM图像存储模块；
SRAM图像存储模块：接收重整时序后的图像数据，驱动片外存储器SRAM的读写控制信号，将接收到的图像数据写入SRAM中，待电子变倍指令齐备后，将所需要的图像数据从SRAM中读出并输出至DRAM存储控制模块；
电子变倍参数设定模块：接收电子变倍指令，根据设定的变倍倍率以及图像参数计算出电子变倍所需要的原始图像区域坐标，将计算出的坐标变换为SRAM中的数据存储地址，并输出至DRAM存储控制模块以及双线性插值模块；
其中，将变倍倍率以及相关图像参数制作成数据表存入FPGA的片内ROM中，这样，在接收到变倍放大或缩小指令时，可以快速的从ROM中提取出变倍换算所需要的步长等参数，缩短了从接收到变倍指令至计算出电子变倍所需要原始图像区域坐标的响应时间，使系统响应速度加快，提升了系统性能；根据用户需求可对变倍倍率以及图像参数进行定制，通过更改ROM中的数据表即可实现对不同变倍倍率以及不同型号航空相机图像的适应，保证了系统的普适性，并且操作简单，复用性强，节约了人力以及时间成本；
DRAM存储控制模块：接收电子变倍参数设定模块计算出的所述数据存储地址，根据此数据存储地址将图像数据写入FPGA片内存储器DRAM中，并将图像数据输出至双线性插值模块；
双线性插值模块：接收电子变倍参数设定模块计算出的插值加权系数以及DRAM存储控制模块输出的原始图像数据，对原始图像数据逐点进行相应的放大和插值处理，根据当前像素的坐标与变倍倍率利用原始图像数据中对应的周围4个像素进行插值加权运算得到当前像素变倍放大后的结果，最后得到电子变倍完成后的图像数据，并将插值放大后的图像数据逐点输出至图像输出模块。
其中，针对双线性插值算法进行了适用于FPGA的优化，将对应坐标的加权系数进行移位放大，简化了小数乘法运算的复杂度。同时，采用流水线逐点顺序计算，提前缓存一行图像数据，保证了在一个时钟周期内可以实现4个原始图像像素以及对应系数的提取和乘加处理，充分利用了FPGA并行处理的优势，提高了电子变倍算法的处理速度，并为后续图像输出模块的时序稳定提供了保障。
图像输出模块：接收双线性插值模块插值放大后的图像数据，将其按照输出接口协议要求进行时序重建，最终将处理后的图像数据按照用户需求输出。
所述SRAM图像存储模块中采用2片SRAM进行乒乓处理，即一片SRAM先进行图像存储，待当前数据需要读出时，另外一片SRAM进行图像存储，如此2片SRAM进行交叉乒乓工作。
在FPGA内部建立行缓存DRAM块，同时缓存多行图像数据，待多行数据都已缓存完成后，将缓存的图像数据根据双线性插值算法需求输出至双线性插值模块。
系统上电初始化完成后，图像输入模块开始接收航空相机经过Cameralink接口发送过来的图像数据，经过FPGA片内存储器的缓存后写入片外SRAM存储器中，SRAM存储器以乒乓的模式进行图像数据的存储与输出，保证不丢帧。
待一帧图像存储完成后，电子变倍参数设定模块根据接收到的指令进行相应参数设定及传递，同时DRAM存储控制模块将图像数据由SRAM中读出到DRAM中供双线性插值模块调用。
双线性插值模块根据设定的电子变倍参数对图像数据逐点进行相应的放大和插值处理，为了保证处理精度，对相应的参数进行移位处理，最后得到电子变倍完成后的图像数据，随后图像输出模块将处理后的图像数据按顺序经由Cameralink接口进行输出显示，即可完成航空相机图像的电子变倍。

Claims (6)

1.一种基于FPGA的航空相机实时电子变倍系统，其特征在于，该实时电子变倍系统在FPGA上实现，包括图像输入模块、SRAM图像存储模块、电子变倍参数设定模块、DRAM存储控制模块、双线性插值模块、图像输出模块；其中，
图像输入模块：根据设定的图像参数对航空相机拍摄到的原始图像数据进行缓存处理，将数据存入FIFO中进行重整时序，然后输出至SRAM图像存储模块；
SRAM图像存储模块：接收重整时序后的图像数据，驱动片外存储器SRAM的读写控制信号，将接收到的图像数据写入SRAM中；
电子变倍参数设定模块：接收电子变倍指令，根据设定的变倍倍率以及图像参数得到电子变倍所需要的原始图像区域坐标以及双线性插值模块所需要的插值加权系数，将计算出的坐标变换为SRAM中的数据存储地址，并将该数据存储地址输出至DRAM存储控制模块，同时将所述插值加权系数输出至双线性插值模块；
DRAM存储控制模块：接收电子变倍参数设定模块计算出的所述数据存储地址，根据此数据存储地址将原始图像数据写入FPGA片内存储器DRAM中，并将原始图像数据输出至双线性插值模块；
双线性插值模块：接收电子变倍参数设定模块计算出的插值加权系数以及DRAM存储控制模块输出的原始图像数据，根据当前像素的坐标与变倍倍率，利用原始图像数据中对应的周围4个像素进行插值加权运算得到当前像素变倍放大后的结果，最后得到电子变倍完成后的图像数据，并将插值放大后的图像数据逐点输出至图像输出模块；
图像输出模块：接收双线性插值模块插值放大后的图像数据，将其按照输出接口协议要求进行时序重建，最终将时序重建后的图像数据按照用户需求输出。
2.如权利要求1所述的一种基于FPGA的航空相机实时电子变倍系统，其特征在于，所述SRAM图像存储模块中采用2片SRAM进行乒乓处理，即一片SRAM先进行图像存储，待当前数据需要读出时，另外一片SRAM进行图像存储，如此2片SRAM进行交叉乒乓工作。
3.如权利要求1或2所述的一种基于FPGA的航空相机实时电子变倍系统，其特征在于，在FPGA内部建立行缓存DRAM块，同时缓存多行图像数据，待多行数据都已缓存完成后，将缓存的图像数据根据双线性插值模块的需求输出至双线性插值模块。
4.如权利要求1或2所述的一种基于FPGA的航空相机实时电子变倍系统，其特征在于，将变倍倍率以及图像参数制作成数据表存入片内ROM中，在接收到电子变倍指令时，从片内ROM中提取。
5.如权利要求4所述的一种基于FPGA的航空相机实时电子变倍系统，其特征在于，根据用户需求对变倍倍率以及图像参数进行定制，通过更改片内ROM中的数据表实现对不同变倍倍率以及不同型号航空相机图像的适应。
6.如权利要求1或2所述的一种基于FPGA的航空相机实时电子变倍系统，其特征在于，双线性插值模块对原始图像数据逐点进行相应的放大和插值处理采用流水线逐点顺序计算，提前缓存一行图像数据，保证在一个时钟周期内实现4个原始图像像素以及对应加权系数的提取和乘加处理。
CN201710911258.0A 2017-09-29 2017-09-29 基于fpga的航空相机实时电子变倍系统 Pending CN107707820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710911258.0A CN107707820A (zh) 2017-09-29 2017-09-29 基于fpga的航空相机实时电子变倍系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710911258.0A CN107707820A (zh) 2017-09-29 2017-09-29 基于fpga的航空相机实时电子变倍系统

Publications (1)

Publication Number Publication Date
CN107707820A true CN107707820A (zh) 2018-02-16

Family

ID=61175970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710911258.0A Pending CN107707820A (zh) 2017-09-29 2017-09-29 基于fpga的航空相机实时电子变倍系统

Country Status (1)

Country Link
CN (1) CN107707820A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107295A (zh) * 2019-12-26 2020-05-05 长沙海格北斗信息技术有限公司 基于fpga和非线性插值的视频缩放方法
CN113271423A (zh) * 2021-03-12 2021-08-17 航天科工火箭技术有限公司 一种基于fpga的多格式视频接口转换装置及方法
CN115209024A (zh) * 2022-07-18 2022-10-18 湖南华南光电(集团)有限责任公司 一种基于fpga电子变倍前置ddr的相机系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465954A (zh) * 2009-01-08 2009-06-24 杭州华三通信技术有限公司 一种对图像进行缩放的方法和装置
CN101894362A (zh) * 2010-07-05 2010-11-24 昆山龙腾光电有限公司 一种图像放大装置及方法
CN101980281A (zh) * 2010-09-30 2011-02-23 深圳市理邦精密仪器股份有限公司 一种超声图像放大方法及放大系统
CN102663666A (zh) * 2012-03-27 2012-09-12 中国人民解放军国防科学技术大学 基于fpga的二维图像重采样算法加速器
US20120229484A1 (en) * 2008-04-14 2012-09-13 Mcgowan Scott James Network hardware graphics adapter compression
CN102905074A (zh) * 2012-10-25 2013-01-30 深圳市掌网立体时代视讯技术有限公司 一种数码变焦装置及方法
CN103929599A (zh) * 2014-04-30 2014-07-16 哈尔滨工程大学 一种基于fpga的数字视频图像实时缩放处理方法
CN104077492A (zh) * 2014-07-08 2014-10-01 中国电子科技集团公司第四十一研究所 一种基于fpga的采样数据内插方法
CN104202016A (zh) * 2014-08-29 2014-12-10 哈尔滨工业大学 一种基于查表法的任意倍可变的信号升采样实现方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229484A1 (en) * 2008-04-14 2012-09-13 Mcgowan Scott James Network hardware graphics adapter compression
CN101465954A (zh) * 2009-01-08 2009-06-24 杭州华三通信技术有限公司 一种对图像进行缩放的方法和装置
CN101894362A (zh) * 2010-07-05 2010-11-24 昆山龙腾光电有限公司 一种图像放大装置及方法
CN101980281A (zh) * 2010-09-30 2011-02-23 深圳市理邦精密仪器股份有限公司 一种超声图像放大方法及放大系统
CN102663666A (zh) * 2012-03-27 2012-09-12 中国人民解放军国防科学技术大学 基于fpga的二维图像重采样算法加速器
CN102905074A (zh) * 2012-10-25 2013-01-30 深圳市掌网立体时代视讯技术有限公司 一种数码变焦装置及方法
CN103929599A (zh) * 2014-04-30 2014-07-16 哈尔滨工程大学 一种基于fpga的数字视频图像实时缩放处理方法
CN104077492A (zh) * 2014-07-08 2014-10-01 中国电子科技集团公司第四十一研究所 一种基于fpga的采样数据内插方法
CN104202016A (zh) * 2014-08-29 2014-12-10 哈尔滨工业大学 一种基于查表法的任意倍可变的信号升采样实现方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107295A (zh) * 2019-12-26 2020-05-05 长沙海格北斗信息技术有限公司 基于fpga和非线性插值的视频缩放方法
CN111107295B (zh) * 2019-12-26 2021-09-07 长沙海格北斗信息技术有限公司 基于fpga和非线性插值的视频缩放方法
CN113271423A (zh) * 2021-03-12 2021-08-17 航天科工火箭技术有限公司 一种基于fpga的多格式视频接口转换装置及方法
CN115209024A (zh) * 2022-07-18 2022-10-18 湖南华南光电(集团)有限责任公司 一种基于fpga电子变倍前置ddr的相机系统

Similar Documents

Publication Publication Date Title
CN110717527B (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
US11610373B2 (en) Method of generating three-dimensional model data of object
US10645364B2 (en) Dynamic calibration of multi-camera systems using multiple multi-view image frames
CN107707820A (zh) 基于fpga的航空相机实时电子变倍系统
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
EP4105766A1 (en) Image display method and apparatus, and computer device and storage medium
WO2021027692A1 (zh) 视觉特征库的构建方法、视觉定位方法、装置和存储介质
CN112444798B (zh) 多传感器设备时空外参标定方法、装置以及计算机设备
CN108475426A (zh) 光流跟踪装置和方法
CN102025979A (zh) 一种基于双dsp的红外视频实时增强显示装置
WO2022165722A1 (zh) 单目深度估计方法、装置及设备
CN110361005A (zh) 定位方法、定位装置、可读存储介质及电子设备
CN112927363A (zh) 体素地图构建方法及装置、计算机可读介质和电子设备
CN114494388B (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
US20230289601A1 (en) Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network
CN115714855A (zh) 一种基于立体视觉与tof融合的三维视觉感知方法及系统
CN107633497A (zh) 一种图像景深渲染方法、系统及终端
CN107315568A (zh) 一种用于执行向量逻辑运算的装置
CN109708662B (zh) 一种基于目标识别的高帧频高精度注入式星图仿真测试平台
CN111445380A (zh) 基于zynq实现实时双目立体匹配的方法及装置
CN114511596A (zh) 一种数据处理方法及相关设备
CN113284055A (zh) 一种图像处理的方法以及装置
CN111063017B (zh) 一种光照估计方法及装置
CN106815861A (zh) 一种紧凑型的光流计算方法与设备
WO2020155044A1 (zh) 卷积计算的装置、方法、处理器和可移动设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180216

WD01 Invention patent application deemed withdrawn after publication