CN111929717A - 面向遥感图像目标特性识别的星载图像处理器及处理方法 - Google Patents
面向遥感图像目标特性识别的星载图像处理器及处理方法 Download PDFInfo
- Publication number
- CN111929717A CN111929717A CN202010723927.3A CN202010723927A CN111929717A CN 111929717 A CN111929717 A CN 111929717A CN 202010723927 A CN202010723927 A CN 202010723927A CN 111929717 A CN111929717 A CN 111929717A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- module
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000012545 processing Methods 0.000 claims abstract description 126
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 238000003860 storage Methods 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 20
- 238000013145 classification model Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000009825 accumulation Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000011068 loading method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 238000001035 drying Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 101100243951 Caenorhabditis elegans pie-1 gene Proteins 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 241000258957 Asteroidea Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100498819 Caenorhabditis elegans ddr-1 gene Proteins 0.000 description 1
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101710131668 Epithelial discoidin domain-containing receptor 1 Proteins 0.000 description 1
- 102100036725 Epithelial discoidin domain-containing receptor 1 Human genes 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/35—Constructional details or hardware or software details of the signal processing chain
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/08—Adaptations of balloons, missiles, or aircraft for meteorological purposes; Radiosondes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明公开了一种面向遥感图像目标特性识别的星载图像处理器,包括第一图像处理单元、接口模块和电源转换模块;第一图像处理单元包括运算模块和存储模块;存储模块用于存储待检测区域的实时遥感图像数据和底图数据;运算模块包括分别与存储模块电性连接的FPGA模块和DSP模块;FPGA模块通过EMIF总线和DSP模块通信;FPGA模块用于完成对待检测区域的实时遥感图像数据的接收和输出;DSP模块用于对FPGA模块输出的遥感图像数据进行目标检测、特征提取和定位解算。本发明具有低功耗和检测效率高的特点,能够适应恶劣的星上环境。
Description
技术领域
本发明涉及数字图像处理技术领域,更具体的说是涉及一种面向遥感图像目标特性识别的星载图像处理器及处理方法。
背景技术
太空探索与利用是人类的一项重要活动,在众多太空探索与利用的技术中,遥感技术以其在一个国家的经济建设、国土防卫和科学研究等方面的重要价值而倍受青睐。
目前,国内外相继实现了星上实时处理技术,但是,实现星上的实时处理会遇到处理设备的专用处理能力与灵活通用性的权衡问题。众所周知,专用芯片面向单一的专用功能进行定制化设计,处理能力强并且处理效率极高,比如ASIC、ASSP等。但它的通用性较低,当星上处理的功能需求发生改变时,需要重新开发。而通用芯片,虽能够胜任各种复杂任务,比如英特尔的酷睿处理器、AMD的A系列APU(加速处理单元)和ARM的Cortex系列、M系列处理器等微处理器,但它的专用性不强,当进行大尺寸图像的处理时效率比较低下,而且性能功耗比很低。另外,GPU、FPGA虽然在专用处理能力、通用性方面都有优势,但是当星上图像处理功能需求发生改变时,FPGA配置文件的重新开发与部署同样需要耗费大量的人力、物力,而GPU的性能功耗比也不占优势。所以摸索一套面向星上遥感图像实时处理的通用性较强的架构显得尤为重要,具有一定通用性的星载实时处理器架构可以提高整系统的处理性能、兼容性和可拓展性。
图像处理已广泛地渗透到了临床病理分析、脑神经科学、智能交通、人流密集公共场所安防监控、体育赛事、空天遥感、国防军工等人类生产生活的各方各面。面向图像处理的可重构技术、通用性架构、图像处理高级抽象等技术在地面系统中已经取得了部分研究成果。
综合上面提到的两个方面,将一些在地面上已经成熟的图像处理通用性架构技术运用在星上实时处理设备具有诱人的应用前景。从实际应用的角度出发,此通用型架构可以增强后续遥感图像任务的处理能力,使其在农作物估产、水利规划、资源勘探、农林资源管理、灾情预警检测和气候科学研究等方面发挥更重要的作用,提升一个国家遥感技术的核心竞争力。从计算机体系结构学术研究的角度出发,由于空间环境下的电子设备具有性能、体积、重量、功耗和容错性等方面的严格约束,实现星载遥感图像实时处理通用性架构可以为其它空间探索应用的处理器设计提供一套方法。
随着遥感成像技术的飞速发展,卫星图像的空间分辨率、时间分辨率、光谱分辨率越来越高,直接导致卫星下传数据量急剧增加,星上受限的硬件资源且环境恶劣,加上遥感图像数据量急剧增加,为星上海域目标检测技术的研究带来了巨大挑战。尤其高分卫星群的发射,高空间分辨率、大幅宽遥感图像快速增长,对图像处理速度的要求越来越高。硬件资源的增长跟不上图像精度的提高,这为星上目标检测的快速实现带来更高的要求。在此背景下,深入分析遥感图像的成像特征,研究一种面向星上的高效的目标检测算法,搭建高性能星在图像处理器结构对国家经济及军事安全具有重要应用价值。
由于星上海域目标检测算法处理的数据量大、算法复杂度高,对系统的实时性提出很高的要求。应以硬件加速为出发点,综合考虑功耗、成本、研发周期等因素,研究适合图像压缩的硬件实现方式。由于舰船检测算法过程相对比较复杂,当在嵌入式硬件平台上实现时,需要消耗大量的存储、计算单元,这就对硬件平台提出了较高的要求。
因此,面对海量的遥感图像数据,如何提供一种面向遥感图像目标特性识别的星载图像处理器及处理方法已成为本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种面向遥感图像目标特性识别的星载图像处理器及处理方法,能够对图像进行接收、缓存、分发、预处理和目标检测,具有低功耗和检测精度高的特性。
为了实现上述目的,本发明采用如下技术方案:
一种面向遥感图像目标特性识别的星载图像处理器,其分别连接数传分系统、星务分系统和供电分系统,所述图像处理器包括:第一图像处理单元、接口模块和电源转换模块;所述电源转换模块分别与所述供电分系统和所述第一图像处理单元连接;所述接口模块分别与所述数传分系统和所述所述第一图像处理单元连接;所述第一图像处理单元通过CAN总线与所述星务分系统通信连接;
所述第一图像处理单元包括运算模块和存储模块;所述存储模块用于存储待检测区域的实时遥感图像数据和底图数据;
所述运算模块包括分别与所述存储模块电性连接的FPGA模块和DSP模块;所述FPGA模块通过EMIF总线和DSP模块通信;所述FPGA模块用于完成对待检测区域的实时遥感图像数据的接收和输出;所述DSP模块用于对所述FPGA模块输出的遥感图像数据进行目标检测、特征提取和定位解算。
经由上述的技术方案可知,与现有技术相比,本发明FPGA模块作为第一图像处理单元的核心处理模块,完成不同应用场景的数据处理和接口模块的数据传输。DSP模块用于第一图像处理单元作为定位解算的核心处理模块,FPGA模块根据CAN总线指令,控制随机切换遥感图像种类的加载程序,并对数据进行处理,FPGA通过EMIF总线和DSP进行通信,DSP完成定位解算,将结果回传给FPGA进行输出,最终再根据指令,FPGA完成切片数据回传,能够适应星上恶劣的环境。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理器中,还包括第二图像处理单元,所述第二图像处理单元与所述第一图像处理单元的结构相同;所述第二图像处理单元分别与所述数传分系统、所述星务分系统和所述电源转换模块电性连接;所述第一图像处理单元用于接收待检测区域的实时遥感图像数据的主份数据;所述第二图像处理单元用于接收待检测区域的实时遥感图像数据的备份数据。第二图像处理单元能够对实时遥感图像数据进行备份,能够避免数据丢失,同时能够避免因第一图像处理单元损坏影响图像处理器的正常工作。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理器中,所述FPGA模块包括K7 FPGA模块和Actel FPGA模块;所述K7 FPGA模块用于完成对遥感图像数据的处理、控制所述接口模块的数据传输以及CAN总线指令的解析与应答;所述Actel FPGA模块外挂3个SPI Flash芯片,用于负责所述K7 FPGA模块程序的加载和更新。为了满足红外图像处理和微光图像处理,针对不同数据的处理,将FLASH地址分区,每个存储空间对应存储不同的功能。K7 FPGA通过CAN总线接收到指令,反馈给Actel FPGA模块,Actel FPGA模块选取FLASH对应地址的程序进行动态切换程序加载。Actel FPGA模块管理K7 FPGA模块的上注更新的程序,首先K7 FPGA模块通过CAN总线接收更新的K7 FPGA模块的程序,传输给ACTCLFPGA模块,Actel FPGA模块将更新的程序存储对应的FLASH空间中
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理器中,所述接口模块包括1个LVDS输入接口、1个高速串行2711接口和1个LVDS输出接口;所述LVDS输入接口用于接收所述数传分系统输出的红外图像数据;所述高速串行2711接口用于接收所述数传分系统输出的微光图像数据;所述LVDS输出接口用于将图像处理完成的结果上传至所述数传分系统。
K7 FPGA模块完成Flash接口控制、CAN总线指令的解析与响应、LVDS输入接口接收、LVDS输出接口输出、高速串行2711接口数据接收和图像数据目标检测等。XC7K410T作为管理者,为增加可靠性,使用三个装载一样程序的FLASH,通过按三取二的原则,读取FLASH进行对7K FPGA模块中程序的加载。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理器中,所述存储模块包括3个Flash存储芯片;其中,1个所述Flash存储芯片用于存储所述遥感图像数据的GIS数据,另外2个所述Flash存储芯片用于存储所述底图数据。FLASH存储芯片采用SPANSION公司的高速FLASH芯片S29GL01GP11TFI010,单各FLASH存储容量为1GB。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理器中,电源转换模块包括一次电源模块和二次电源模块,其中一次电源模块完成+42V到+5V的电源变换,+5V作为给第一图像处理单元和第二图像处理单元的二次电源。二次电源模块完成+5V电源到+3.3V、+2.5V、+1.8V和+1.5V的电压变换,实现实时第一图像处理单元和第二图像处理单元对所有其它器件供电。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理器中,所述供配电系统用于为所述电源转换模块供电,并控制所述电源转换模块的开启或关闭;
所述星务分系统通过CAN总线分别与所述第一图像处理单元和所述第二图像处理单元通信,并发送广播数据;
所述数传系统用于采集待检测区域的遥感图像数据,并通过所述接口模块将所述遥感图像数据转发至所述第一图像处理单元和所述第二图像处理单元。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理器中,DSP模块的启动文件选用PROM来加载,PROM具有抗辐射性能,稳定性好,DSP启动后,再从程序存储FLASH中读取,程序存储FLASH内部空间分成三份,存储相同的文件,根据按三取二的原则,进行读取配置。DSP模块上注功能可以通过以下几个过程实现:通过FPGA模块接收CAN总线传输的DSP程序;FPGA模块将接收到的DSP模块更新程序通过EMIF口传输给DSP模块;DSP模块选择特定程序区域存储上注的程序,同时DSP模块在标志位区加上上注程序
本发明还提供一种面向遥感图像目标特性识别的星载图像处理方法,适用于上述一种面向遥感图像目标特性识别的星载图像处理器;包括以下步骤:
步骤S1、与所述星务分系统进行CAN总线通信,获取所述星务分系统发送的指令;所述指令包括搜索任务指令和确认任务指令;
步骤S2、根据步骤S1中的指令获取待检测区域的实时遥感图像数据和包含固定位置的底图数据;
步骤S3、对步骤S2中的实时遥感图像数据进行目标检测、特征提取和定位解算;
执行搜索任务指令时,对待检测区域的所有目标进行检测;
执行确认任务指令时,针对远洋区域,根据获取的经纬度和检索范围,对给定区域进行切片,获取给定区域的切片图像;将切片图像与底图数据进行比对,提取切片图像中待检测目标的特征信息和位置信息;
步骤S4、将待检测目标的特征信息和位置信息通过CAN总线发送至所述星务分系统。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理方法中,步骤S2中的固定位置的底图数据分别包括无明显遮挡。薄云雾遮挡和厚云遮挡三种场景下的港口、机场或阵地图像;步骤S3中的待检测区域的目标包括海面舰船、航母、两栖舰、大型军舰或飞机,并根据待检测区域的连通区域进行目标提取。
目前各种遥感图像中舰船检测方法大都是从目标出发,并且对不同海面场景使用相同的方法,忽略了不同海面场景下目标图像差异较大的问题,导致单一舰船检测算法/算子对不同场景适应性差,舰船检测的漏检与虚警较多。本发明将海面场景划分为无明显遮挡、薄云雾遮挡和厚云遮挡,能够减少虚警,提高检测精度。
由于星上计算资源有限,因此不能采用深度神经网络进行陆地目标检测。同时由于港口、机场、导弹阵地的外观相差很大,采用同一套传统的目标检测算法难以准确检测目标。但是经分析发现,虽然阵地的种类多种多样,且背景也较为多样,机场与阵地的外观相差很大,港口外观也是多种多样,但是他们都会有很大的连通区域,故根据从目标本身连通区域的尺寸来进行初步筛选,再在初步筛选的区域里面进行目标提取,能够提高提取精度。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理方法中,所述步骤S1包括:
S11、接收所述星务分系统通过CAN总线发送的缓变遥测轮询控制序列;
S12、接收到所述缓变遥测轮询控制序列后,通过向所述CAN总线发送缓变遥测参数至所述星务分系统;
S13、接收所述星务分系统通过所述CAN总线发送的间接指令;
S14、接收到间接指令后,发送应答控制序列至所述星务分系统。
优选的,在上述一种面向遥感图像目标特性识别的星载图像处理方法中,步骤S3中包括以下步骤:
S31、图像预处理:对遥感图像数据进行预处理;所述预处理包括对遥感图像数据进行缓存及算法调度和条纹去燥;
S32、粗检测:
S321、对预处理后的遥感图像数据进行块划分,且相邻快之间无重叠区域;
S322、对划分后的各个块中的数据进行归一化操作,并对归一化数据进行双线性插值分层运算;
S323、对每层数据进行梯度运算,获取梯度运算结果;
S324、对梯度运算结果进行卷积运算,输出全是卷积最大值结果的矩阵;
S325、根据矩阵中各个像素的值与粗检测阈值进行比较,大于阈值的是为疑似目标点,并输出坐标信息和目标点长宽;否则,视为非目标点;
S326、对获取的疑似目标点的坐标信息和目标点长宽进行原图定位,确定其在遥感图像分块前的原图中的坐标信息和目标点长宽,利用非极大值抑制算法合并相邻点,获取最终的疑似目标点信息;
S33、精检测:
S331、构建SVM分类模型,采用交叉验证方法对SVM分类模型进行训练和验证,获取最终的分类模型;
S332、将归一化操作后的各个块和疑似目标点信息输入最终的分类模型,从归一化操作后的各个块中获取与疑似目标点长宽信息匹配的图像块Rx;
S333、对图像块Rx进行块分割,提取疑似目标区域特征,并对每一部分的目标区域特征进行二维傅里叶变换,进行取模运算,获取以数组形式vec表示的结果;
S334、将得到的结果与SVM分类模型中的分类模板进行点乘累加,获取点乘累加结果;
S335、取点乘累加结果中的最大值与精检测阈值进行比较,大于阈值的视为目标点,并输出最终的坐标信息和目标点长宽;否则,视为虚警并剔除。
经由上述技术方案可知,本发明依次对遥感图像进行预处理、粗检测和精检测,其中,预处理主要功能是实现对输入图像的缓存及分块,保证进入算法的数据是处理后的图像数据。粗检测是基于级联分类的目标候选区域快速提取算法,通过一个由简到繁的级联线性分类器将级联拒绝机制与多特征相结合,用相对简单的特征排除掉大量的海水和云等简单地物,采用更加精细的特征对复杂地物作进一步区分,从而提高舰船潜在区域提取的准确性和效率。精检测是基于频域特征提取的目标分类算法,是在充分分析红外遥感图像中舰船目标自身以及典型虚警(云、尾迹、行驶痕迹等)的特征基础上,选择能够有效区分舰船目标与典型虚警的可用特征,并研究有效的特征提取方法,结合样本的标注信息,使构建目标的最优特征子集,实现虚警的快速、准确剔除,从而提高舰船检测的准确性和普适性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的图像处理器结构示意图;
图2附图为本发明提供的图像处理器与数传分系统、星务分系统和供电分系统的连接示意图;
图3附图为本发明提供的图像处理器的功能框图;
图4附图为本发明提供的FPGA模块的电路结构示意图;
图5附图为本发明提供的FPGA模块的另一电路结构示意图;
图6附图为本发明提供的DSP模块的电路结构示意图;
图7附图为本发明提供的一种面向遥感图像目标特性识别的星载图像处理方法的流程图;
图8附图为本发明提供的一种面向遥感图像目标特性识别的星载图像处理方法所涉及的算法状态调度时序图;
图9附图为本发明提供的一种面向遥感图像目标特性识别的星载图像处理方法所涉及的算法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1-6所示,本发明实施例公开了一种面向遥感图像目标特性识别的星载图像处理器,其分别连接数传分系统、星务分系统和供电分系统;
图像处理器包括:第一图像处理单元、接口模块和电源转换模块;电源转换模块分别与供电分系统和第一图像处理单元连接;接口模块分别与数传分系统和第一图像处理单元连接;第一图像处理单元通过CAN总线与星务分系统通信连接;
第一图像处理单元包括运算模块和存储模块;存储模块用于存储待检测区域的实时遥感图像数据和底图数据;存储模块由DDR3、SDRAM、FLASH存储器和PROM组成;
运算模块包括分别与存储模块电性连接的FPGA模块和DSP模块;FPGA模块通过EMIF总线和DSP模块通信;FPGA模块用于完成对待检测区域的实时遥感图像数据的接收和输出;DSP模块用于对FPGA模块输出的遥感图像数据进行目标检测、特征提取和定位解算。
具体的,FPGA模块包括K7 FPGA模块和Actel FPGA模块;K7 FPGA模块用于完成对遥感图像数据的处理、控制接口模块的数据传输以及CAN总线指令的解析与应答;ActelFPGA模块外挂3个SPI Flash芯片,用于负责K7 FPGA模块程序的加载和更新。
本实施例图像处理器具有两种在轨模式,分别为实时处理模式和待机模式,实时处理模式下对相应目标进行检测、特征提取和定位解算,待机模式下,图像处理器不对遥感图像做任何处理。
更有利的,还包括第二图像处理单元,第二图像处理单元与第一图像处理单元的结构相同;第二图像处理单元分别与数传分系统、星务分系统和电源转换模块电性连接;第一图像处理单元用于接收待检测区域的实时遥感图像数据的主份数据;第二图像处理单元用于接收待检测区域的实时遥感图像数据的备份数据。
本实施例中,图像处理器主要完成对微光和红外相机数据的采集、进行图像处理、切片数据回传、接收指令及响应等工作。图像处理器内部板卡主要集成有电源转换模块、第一图像处理器和第二图像处理器。电源转换模块负责接收一次电源和指令,对第一图像处理单元和第二图像处理单元供电。第一图像处理单元接收微光和红外主份数据,第二图像处理单元接收微光和红外备份数据。图像处理器是一个以FPGA模块和DSP模块为核心的小型系统,图像处理器包括FPGA模块、DSP模块、存储模块、接口模块和电源转换模块。
本实施例选择Xilinx的XC7K410T-FFG900作为图像处理器核心处理模块,完成红外和微光数据处理和接口模块的数据传输,选择TI的TMS320C6713 DSP用于图像处理器作为定位解算的核心处理,红外检测需要用于存储GIS存储区选用同步接口Micron的FLASH,单片存储容量1Gb,存储空间分成三部分,软件读取是按三取二的原则,增加可靠性。本发明图像处理器所搭载的算法是在xilinxc7k410t平台上用VHDL语言实现,该芯片具有406720逻辑单元和34Mb块ram。在设计过程中,逻辑资源和ram资源的利用率基本在40%以下,时钟资源的利用率在40%以下。同时,Xc7k410t支持内部时钟,最大工作频率800MHz,设计中使用的最大时钟频率为100MHz。
FPGA模块根据CAN总线指令,控制随机切换微光、红外加载程序,并对数据进行处理,FPGA模块通过EMIF总线和DSP模块进行通信,DSP模块完成定位解算,将结果回传给FPGA模块进行输出,最终再根据指令,FPGA模块完成切片数据回传。
具体的,接口模块包括1个LVDS输入接口、1个高速串行2711接口和1个LVDS输出接口;LVDS输入接口用于接收数传分系统输出的红外图像数据;高速串行2711接口用于接收数传分系统输出的微光图像数据;LVDS输出接口用于将图像处理完成的结果上传至数传分系统。K7 FPGA模块完成Flash接口控制、CAN总线指令的解析与响应、LVDS输入接口接收、LVDS输出接口输出、高速串行2711接口数据接收和图像数据目标检测等。XC7K410T-FFG900作为管理者,为增加可靠性,使用三个装载一样程序的FLASH,通过按三取二的原则,读取FLASH进行对7K FPGA模块中程序的加载。
存储模块包括3个数据Flash存储芯片;其中,1个Flash存储芯片用于存储遥感图像数据的GIS数据,另外2个Flash存储芯片用于存储底图数据。FLASH存储芯片采用SPANSION公司的高速FLASH芯片S29GL01GP11TFI010,单各FLASH存储容量为1GB。
在一个实施例中,电源转换模块包括一次电源模块和二次电源模块,其中一次电源模块完成+42V到+5V的电源变换,+5V作为给第一图像处理单元和第二图像处理单元的二次电源。二次电源模块完成+5V电源到+3.3V、+2.5V、+1.8V和+1.5V的电压变换,实现实时第一图像处理单元和第二图像处理单元对所有其它器件供电。
如图2所示,供配电系统用于为电源转换模块供电,并控制电源转换模块的开启或关闭;
星务分系统通过CAN总线分别与第一图像处理单元和第二图像处理单元通信,并发送广播数据;
数传系统用于采集待检测区域的遥感图像数据,并通过接口模块将遥感图像数据转发至第一图像处理单元和第二图像处理单元。
如图7-9所示,本发明实施例还公开了一种面向遥感图像目标特性识别的星载图像处理方法,适用于上述一种面向遥感图像目标特性识别的星载图像处理器;包括以下步骤:
步骤S1、与星务分系统进行CAN总线通信,获取星务分系统发送的指令;指令包括搜索任务指令和确认任务指令;
步骤S2、根据步骤S1中的指令获取待检测区域的实时遥感图像数据和包含固定位置的底图数据;
步骤S3、实时处理模式下,对步骤S2中的实时遥感图像数据进行目标检测、特征提取和定位解算;
执行搜索任务指令时,对待检测区域的所有目标进行检测;
执行确认任务指令时,针对远洋区域,根据获取的经纬度和检索范围,对给定区域进行切片,获取给定区域的切片图像;将切片图像与底图数据进行比对,提取切片图像中待检测目标的特征信息和位置信息;
待机模式下,不对遥感图像数据做任何处理。
步骤S4、将待检测目标的特征信息和位置信息通过CAN总线发送至星务分系统。
更有利的,步骤S2中的固定位置的底图数据分别包括无明显遮挡。薄云雾遮挡和厚云遮挡三种场景下的港口、机场或阵地图像;步骤S3中的待检测区域的目标包括海面舰船、航母、两栖舰、大型军舰或飞机,并根据待检测区域的连通区域进行目标提取。
目前各种遥感图像中舰船检测方法大都是从目标出发,并且对不同海面场景使用相同的方法,忽略了不同海面场景下目标图像差异较大的问题,导致单一舰船检测算法/算子对不同场景适应性差,舰船检测的漏检与虚警较多。本发明将海面场景划分为无明显遮挡、薄云雾遮挡和厚云遮挡,能够减少虚警,提高检测精度。
由于星上计算资源有限,因此不能采用深度神经网络进行陆地目标检测。同时由于港口、机场、导弹阵地的外观相差很大,采用同一套传统的目标检测算法难以准确检测目标。但是经分析发现,虽然阵地的种类多种多样,且背景也较为多样,机场与阵地的外观相差很大,港口外观也是多种多样,但是他们都会有很大的连通区域,故根据从目标本身连通区域的尺寸来进行初步筛选,再在初步筛选的区域里面进行目标提取,能够提高提取精度。
步骤S1中,星务分系统与第一图像处理单元和第二图像处理单元之间进行CAN总线通信,并发送广播数据。CAN总线通信利用的是CAN解析与应答,其通信模式主要包括:红外数据处理模式:接收CAN总线指令选取红外数据程序处理加载;微光数据处理模式:接收CAN总线指令选取微光数据处理程序加载;实时图像处理单元响应通信指令:完成红外或者微光数据的接收和处理,完成数据整理并反馈切片。
步骤S1具体包括:
S11、接收星务分系统通过CAN总线发送的缓变遥测轮询控制序列;
S12、接收到缓变遥测轮询控制序列后,通过CAN总线发送缓变遥测参数至星务分系统;
S13、接收星务分系统通过CAN总线发送的间接指令;
S14、接收到间接指令后,发送应答控制序列至星务分系统。
步骤S3提出一种基于多特征融合的目标检测算法,该算法主要分为三部分:图像预处理、粗检测和精检测,其中,预处理主要功能是实现对输入图像的缓存及分块,保证进入算法的数据是处理后的图像数据。粗检测是基于级联分类的目标候选区域快速提取算法,通过一个由简到繁的级联线性分类器将级联拒绝机制与多特征相结合,用相对简单的特征排除掉大量的海水和云等简单地物,采用更加精细的特征对复杂地物作进一步区分,从而提高舰船潜在区域提取的准确性和效率。精检测是基于频域特征提取的目标分类算法,是在充分分析红外遥感图像中舰船目标自身以及典型虚警(云、尾迹、行驶痕迹等)的特征基础上,选择能够有效区分舰船目标与典型虚警的可用特征,并研究有效的特征提取方法,结合样本的标注信息,使构建目标的最优特征子集,实现虚警的快速、准确剔除,从而提高舰船检测的准确性和普适性。
步骤S3具体包括以下步骤:
S31、图像预处理:对遥感图像数据进行预处理;预处理包括对遥感图像数据进行缓存及算法调度和条纹去燥;
算法调度以DDR为主,基于DDR3双通道设计的基础上,在预处理阶段对算法的流程调度进行三级划分。分别为:输入数据来源DDR,通过对DDR进行地址划分,以图像数据大小pic为单位划分为高位地址ddr1和低位地址ddr0。
高位地址和低位地址能够分别在同一时钟周期进行读写操作,低位地址划ddr0分为area1:地址为0~pic-1,area2:地址为pic~2pic-1,高位地址ddr1划分为area3:地址为“16#xxxx#”~“16#xxxx#”+pic-1,area4:地址为“16#xxxx#”+pic~“16#xxxx#”+2pic-1。其中,xxxx为高位地址的起始地址,根据需求可以进行初始化设置。
DDR缓存区域流程为area1->area3->area2->area4->area1->…,在DDR缓存一幅图后开始执行检测任务,在DDR缓存两幅图后开始执行切片输出。算法与DDR进行交互的流程如下:第一幅图存入area1中,进行图像预处理;第二幅图存入area3中,进行图像预处理,此时第一幅图进行粗检测;第三幅图存入area2中,进行图像预处理,此时第二幅图进行粗检测,第一幅图进行精检测;第四幅图存入area4中,进行图像预处理,此时第三幅图进行粗检测,第二幅图进行精检测;第五幅图存入area1中,进行图像预处理,此时第四幅图进行粗检测,第三幅图进行精检测。第N幅图存入ddr中,进行图像预处理,此时第N-1幅图进行粗检测,第N-2幅图进行精检测。当图像数据缓存入DDR中后,根据图像在DDR中存放的地址取出相应的块,块的大小根据软件算法的步长step来确定。
条纹噪声是一种非均匀性噪声,不同于一般的图像噪声。一般的图像噪声属于瞬态随机噪声,使用一般的空域滤波法均能有效地消除。而这种条纹噪声是一种随机噪声,并且每帧条纹噪声是不相同的,条纹去噪算法的研究重点是如何有效的计算增益系数和偏置系数。
本实施例选择了一种高效的单帧时间内完成噪声去除的算法,即基于均值补偿原理的条纹去噪算法。通过相邻行像素之间的相关特性和均值补偿原理进行求解增益系数和偏置系数,该算法处理流程是先计算每行图像窗口的均值和方差,并寻找每行图像的最小方差窗口即最稳定窗口,然后根据当前行的最小方差窗口以求解当前行图像的加权均值,进而得到增益系数和偏置系数值,最后根据这两个值求解当前行像素的去噪像素值。
去噪算法的整体处理流程是:将输入的图像数据划分成若干个图像片,然后将每个图像片划分成若干个图像块,最后将图像块分配给独立的处理单元并行地进行条纹去噪处理。其中,对于图像数据的存储,本实施例采用了基于图像数据分块的流水线存储处理策略。当图像的第i片数据进入系统时,将其写入第2片存储区域,与此同时存储在第1片存储区域的第i-1片图像数据的每一个图像块被分配一个独立的处理单元进行条纹去噪处理。然后将每个处理单元输出的去噪结果图进行合并,并得到原始输入图像的去噪图像。
本实施例中的第一图像处理单元和第二图像处理单元,以图像块为处理单元和以一行图像数据为处理单位,对该块图像进行条纹噪声去除处理。首先,输入的一行数据进入计算最小方差模块,该模块的功能是对输入的图像数据同时进行将输入图像数据写入到缓存单元1和求解当前行像素的窗口均值和最小方差窗口,并将当前行所有窗口的均值写入缓存单元2。然后,根据已经得到的最小方差窗口,从存储单元2读取当前行和上一行在对应的最小方差窗口里的均值进入计算加权均值模块,进行当前行的加权均值计算,公式如下所示:
由于遥感图像覆盖范围非常大,舰船目标在宽幅遥感图像中所占比例非常小,同时舰船大小不同,朝向多样,直接在整幅图像中进行目标检测计算复杂度高,容易产生漏检和虚警,发明实施例提供了一种实时目标粗检测方法,用相对简单的特征排除掉大量的海水和云等简单地物,进行疑似目标区域提取过程。具体包括:
S32、粗检测:
S321、对预处理后的遥感图像数据进行块划分,且相邻快之间无重叠区域;
对预处理后的图像进行分块,获取输入图像块信息,待检测海域区域大小为w*h(像素),其中w为图像宽度,h为图像高度;
通过图像宽度w和h对待检测海域区域进行块划分,进行图像块分割的步长为step,块大小为blocksize,一般地,步长step的取值为1到blocksize。每个相邻块的重叠区域为blocksize-step,显然,当step取值为1时,滑动窗口的步长为1,每个相邻块的重叠区域为blocksize-1;当step取值为blocksize时,滑动窗口的步长为blocksize,每个相邻块无重叠区域。
S322、对划分后的各个块中的数据进行归一化操作,并对归一化数据进行双线性插值分层运算;
对块划分后的各个块分别进行检测,需要对数据进行归一化操作,输入图像数据最大像素点pix_max,输入图像数据最小像素点pix_min,输入图像数据像素点pix_in,归一化算法的输出对应位置的像素值公式:
Pix_real=(pix_in-pix_min)/(pix_max-pix_min)
归一化算法的输出step*step即为检测模块的输入部分,在检测时,需要对输入的归一化数据进行双线性插值分层运算,根据缩小因子β(求取缩小后的三层数据lav1、lav2、lav3,分别对三层数据lavn分别进行粗检测与精检测算法。
S323、对每层数据进行梯度运算,获取梯度运算结果;
对lavn进行梯度运算,运算时以3*3区域进行,主要包括x方向上的梯度运算及y方向上的梯度运算,并将最终得到的对应坐标的梯度运算结果进行均值运算,每一层求得的梯度运算结果为Txn(n取值为1-3)。其中,x方向上的3*3梯度模板为Kx={1,0,-1,2,0,-2,1,0,-1},y方向上的3*3梯度模板为Ky={1,2,-1,0,0,0,-1,-2,-1},取值为实际样本训练数据。
S324、对梯度运算结果进行卷积运算,输出全是卷积最大值结果的矩阵;
对Txn进行卷积运算,运算时以11*11区域进行,根据舰船头部朝向与水平夹角的不同,总共使用了6种模板图像Cxn(n取值1-6)参与Txn卷积运算。Txn分别于6个卷积模板进行卷积后获得6个输出矩阵,比较各个矩阵相同位置像素值,取最大值并输出,最终获得一个全是卷积最大值结果的矩阵Conv并输出。
卷积运算公式如下:
Conv=Max(conv(Txn,Cxn))。
S325、根据矩阵Conv中各个像素的值与粗检测阈值进行比较,大于阈值的是为疑似目标点,并输出坐标信息和目标点长宽;否则,视为非目标点;
S326、对获取的疑似目标点的坐标信息和目标点长宽进行原图定位,确定其在遥感图像分块前的原图中的坐标信息和目标点长宽,利用非极大值抑制算法合并相邻点,获取最终的疑似目标点信息(x,y,w,h)。
在获取候选区域后,需要进一步对候选区域进行判别确认,去除舰船候选区域中存在的云、尾迹等虚警,达到降低舰船检测虚警率、提高准确率的目的。现有的目标分类方法主要是基于舰船目标自身具有的形状等特征进行的,容易剔除真正的舰船目标、保留具有舰船形状的虚警,影响了舰船检测的准确性。在充分分析遥感图像中舰船目标自身以及典型虚警的特征基础上,选择能够有效区分舰船目标与典型虚警的可用特征,并研究有效的特征提取方法,构建目标的最优特征子集,实现虚警的快速、准确剔除,从而提高舰船检测的准确性和普适性。本实施例提供一种精检测算法,具体如下:
S33、精检测:
S331、构建SVM分类模型,采用交叉验证方法对SVM分类模型进行训练和验证,获取最终的分类模型;
本实施例所涉及的算法由于训练数据获取渠道少、难度大,因而并不充分,而对于机器学习类算法,在训练数据不充足的情况下,很容易产生过拟合现象。在采取正则化手段的同时,数据增广的目的是增加训练集的数量,让训练集更具有多样化,使得训练的模型具有更强的泛化能力。常见的数据增广的方法主要有图像平移、图像翻转、图像旋转、图像缩放、组合变换等多种手段。利用新得到的训练集,本实施例在SVM分类模型训练过程中采用了交叉验证方法,该方法是一种在训练数据不充分时,将大部分数据作为训练集,将小部分数据作为验证集的一种方法,它使得仅仅利用现有的数据来开展相对较大规模的测试成为可能。它可以有效地应对训练数据少、泛化误差大、过拟合等多种情况。在10次交叉验证中,先将数据集随机分为10份,将9个数据集作为训练集,得到训练后的SVM模型,将1个数据集留作验证集,进行模型验证。总共将上述步骤执行10次,确保每一个数据集都做过一次验证集。最后,将训练得到的模型中的每一个数据取平均数,进而得到最终的模型。
S332、将归一化操作后的各个块和疑似目标点信息输入最终的分类模型,从归一化操作后的各个块中获取与疑似目标点长宽信息匹配的图像块Rx;
归一化算法的输出step*step与粗检测模块的输出(x,y,w,h)即为精检测模块的输入部分,对舰船目标进行全覆盖,通过每个目标点信息(x,y,w,h)获取四个目标点信息:Point1=(x,y,w,h),Point2=(x,y,w*1.5,h*1.5),Point3=(x,y,w*2,h*2),Point4=(x,y,w*2.5,h*2.5)。根据全覆盖获得的若干目标点信息分别从归一化算法的输出step*step相应区域获取获取与长宽信息匹配的图像块Rx进入后续算法。
S333、对图像块Rx进行块分割,提取疑似目标区域特征,并对每一部分的目标区域特征进行二维傅里叶变换,进行取模运算,获取以数组形式vec表示的结果;
S334、将得到的结果与SVM分类模型中的分类模板进行点乘累加,获取点乘累加结果;
S335、取点乘累加结果中的最大值与精检测阈值进行比较,大于阈值的视为目标点,并输出最终的坐标信息和目标点长宽;否则,视为虚警并剔除。
对Rx进行六部分的块分割,提取疑似目标区域特征,并对每一部分的目标区域特征进行二维傅里叶变换,并进行取模运算,将结果以数组形式vec表示。将得到的数组分别与SVM分类模型中的6个分类模板进行点乘累加,获取6个点乘累加结果并进行比较,取最大值与精检测模块阈值进行比较,大于此阈值的则视为舰船目标,并输出最终的坐标信息和舰船长宽;否则,视为虚警并剔除。
二维傅里叶变换公式如下所示:
temp=FFT2D(Rx,w(Rx),h(Rx));
取模操作公式如下所示:
temp_mol=sqrt(pow(temp.real,2),pow(temp.imagin,2));
其中,temp表示Rx经过二维傅里叶变换后的输出结果,temp.real二维傅里叶变换的实部部分,temp.imagin表示二维傅里叶变换的虚部部分,temp_mol表示对二维傅里叶变换进行取模运算,pow表示开方。
对经过二维傅里叶变换和SVM运算后求得的舰船坐标进行非极大值抑制运算,合并相邻点,获得最终的有效舰船目标信息。
对于图像处理器所搭载的检测算法而言,对比直方图统计方法、选择性搜索方法和显著性方法,在无明显遮挡的情况下,几种方法可以达到较高的检测率,本实施例方法可以达到99%以上的检测率,但与其他方法相比,本实施例方法的虚警率较小。在薄云覆盖的场景下,几种方法的检测性能略有下降,本实施例方法的性能下降最小,检测率可达98.6%,虚警率小于20%;在厚云干扰场景中,直方图统计方法的检测率小于90%,显著性方法的检测率达到93.9%,本实施例方法检测率为97.6%,相比之下虚警率大幅降低。
直方图统计方法、选择性搜索方法和显著性方法都是基于无监督方法设计的,没有有效地利用船只目标和背景的先验信息,因此,在复杂的场景中,容易出现漏检和误报。相比之下,本实施例提出的舰船区域提取方法综合了目标和背景的先验信息,能够在简单复杂的场景中获得更好的检测效果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本实施例中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本实施例所示的这些实施例,而是要符合与本实施例所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种面向遥感图像目标特性识别的星载图像处理器,其分别连接数传分系统、星务分系统和供电分系统,其特征在于,所述图像处理器包括:第一图像处理单元、接口模块和电源转换模块;所述电源转换模块分别与所述供电分系统和所述第一图像处理单元连接;所述接口模块分别与所述数传分系统和所述所述第一图像处理单元连接;所述第一图像处理单元通过CAN总线与所述星务分系统通信连接;
所述第一图像处理单元包括运算模块和存储模块;所述存储模块用于存储待检测区域的实时遥感图像数据和底图数据;
所述运算模块包括分别与所述存储模块电性连接的FPGA模块和DSP模块;所述FPGA模块通过EMIF总线和DSP模块通信;所述FPGA模块用于完成对待检测区域的实时遥感图像数据的接收和输出;所述DSP模块用于对所述FPGA模块输出的遥感图像数据进行目标检测、特征提取和定位解算。
2.根据权利要求1所述的一种面向遥感图像目标特性识别的星载图像处理器,其特征在于,还包括第二图像处理单元,所述第二图像处理单元与所述第一图像处理单元的结构相同;所述第二图像处理单元分别与所述数传分系统、所述星务分系统和所述电源转换模块电性连接;所述第一图像处理单元用于接收待检测区域的实时遥感图像数据的主份数据;所述第二图像处理单元用于接收待检测区域的实时遥感图像数据的备份数据。
3.根据权利要求1所述的一种面向遥感图像目标特性识别的星载图像处理器,其特征在于,所述FPGA模块包括K7 FPGA模块和Actel FPGA模块;所述K7 FPGA模块用于完成对遥感图像数据的处理、控制所述接口模块的数据传输以及CAN总线指令的解析与应答;所述Actel FPGA模块外挂3个SPI Flash芯片,用于负责所述K7 FPGA模块程序的加载和更新。
4.根据权利要求1所述的一种面向遥感图像目标特性识别的星载图像处理器,其特征在于,所述接口模块包括1个LVDS输入接口、1个高速串行2711接口和1个LVDS输出接口;所述LVDS输入接口用于接收所述数传分系统输出的红外图像数据;所述高速串行2711接口用于接收所述数传分系统输出的微光图像数据;所述LVDS输出接口用于将图像处理完成的结果上传至所述数传分系统。
5.根据权利要求1所述的一种面向遥感图像目标特性识别的星载图像处理器,其特征在于,所述存储模块包括3个Flash存储芯片;其中,1个所述Flash存储芯片用于存储所述遥感图像数据的GIS数据,另外2个所述Flash存储芯片用于存储所述底图数据。
6.根据权利要求1所述的一种面向遥感图像目标特性识别的星载图像处理器,其特征在于,所述供配电系统用于为所述电源转换模块供电,并控制所述电源转换模块的开启或关闭;
所述星务分系统通过CAN总线分别与所述第一图像处理单元和所述第二图像处理单元通信,并发送广播数据;
所述数传系统用于采集待检测区域的遥感图像数据,并通过所述接口模块将所述遥感图像数据转发至所述第一图像处理单元和所述第二图像处理单元。
7.一种面向遥感图像目标特性识别的星载图像处理方法,适用于如权利要求1-6任一项所述的一种面向遥感图像目标特性识别的星载图像处理器;其特征在于,包括以下步骤:
步骤S1、与所述星务分系统进行CAN总线通信,获取所述星务分系统发送的指令;所述指令包括搜索任务指令和确认任务指令;
步骤S2、根据步骤S1中的指令获取待检测区域的实时遥感图像数据和包含固定位置的底图数据;
步骤S3、对步骤S2中的实时遥感图像数据进行目标检测、特征提取和定位解算;
执行搜索任务指令时,对待检测区域的所有目标进行检测;
执行确认任务指令时,针对远洋区域,根据获取的经纬度和检索范围,对给定区域进行切片,获取给定区域的切片图像;将切片图像与底图数据进行比对,提取切片图像中待检测目标的特征信息和位置信息;
步骤S4、将待检测目标的特征信息和位置信息通过CAN总线发送至所述星务分系统。
8.根据权利要求7所述的一种面向遥感图像目标特性识别的星载图像处理方法,其特征在于,步骤S2中的固定位置的底图数据分别包括无明显遮挡。薄云雾遮挡和厚云遮挡三种场景下的港口、机场或阵地图像;步骤S3中的待检测区域的目标包括海面舰船、航母、两栖舰、大型军舰或飞机,并根据待检测区域的连通区域进行目标提取。
9.根据权利要求7所述的一种面向遥感图像目标特性识别的星载图像处理方法,其特征在于,所述步骤S1包括:
S11、接收所述星务分系统通过CAN总线发送的缓变遥测轮询控制序列;
S12、接收到所述缓变遥测轮询控制序列后,通过所述CAN总线发送缓变遥测参数至所述星务分系统;
S13、接收所述星务分系统通过所述CAN总线发送的间接指令;
S14、接收到间接指令后,发送应答控制序列至所述星务分系统。
10.根据权利要求8所述的一种面向遥感图像目标特性识别的星载图像处理方法,其特征在于,步骤S3中包括以下步骤:
S31、图像预处理:对遥感图像数据进行预处理;所述预处理包括对遥感图像数据进行缓存及算法调度和条纹去燥;
S32、粗检测:
S321、对预处理后的遥感图像数据进行块划分,且相邻快之间无重叠区域;
S322、对划分后的各个块中的数据进行归一化操作,并对归一化数据进行双线性插值分层运算;
S323、对每层数据进行梯度运算,获取梯度运算结果;
S324、对梯度运算结果进行卷积运算,输出全是卷积最大值结果的矩阵;
S325、根据矩阵中各个像素的值与粗检测阈值进行比较,大于阈值的是为疑似目标点,并输出坐标信息和目标点长宽;否则,视为非目标点;
S326、对获取的疑似目标点的坐标信息和目标点长宽进行原图定位,确定其在遥感图像分块前的原图中的坐标信息和目标点长宽,利用非极大值抑制算法合并相邻点,获取最终的疑似目标点信息;
S33、精检测:
S331、构建SVM分类模型,采用交叉验证方法对SVM分类模型进行训练和验证,获取最终的分类模型;
S332、将归一化操作后的各个块和疑似目标点信息输入最终的分类模型,从归一化操作后的各个块中获取与疑似目标点长宽信息匹配的图像块Rx;
S333、对图像块Rx进行块分割,提取疑似目标区域特征,并对每一部分的目标区域特征进行二维傅里叶变换,进行取模运算,获取以数组形式vec表示的结果;
S334、将得到的结果与SVM分类模型中的分类模板进行点乘累加,获取点乘累加结果;
S335、取点乘累加结果中的最大值与精检测阈值进行比较,大于阈值的视为目标点,并输出最终的坐标信息和目标点长宽;否则,视为虚警并剔除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010723927.3A CN111929717A (zh) | 2020-07-24 | 2020-07-24 | 面向遥感图像目标特性识别的星载图像处理器及处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010723927.3A CN111929717A (zh) | 2020-07-24 | 2020-07-24 | 面向遥感图像目标特性识别的星载图像处理器及处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111929717A true CN111929717A (zh) | 2020-11-13 |
Family
ID=73315500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010723927.3A Pending CN111929717A (zh) | 2020-07-24 | 2020-07-24 | 面向遥感图像目标特性识别的星载图像处理器及处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111929717A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112481A (zh) * | 2021-04-16 | 2021-07-13 | 北京理工雷科电子信息技术有限公司 | 一种基于矩阵网络的混合异构片上架构 |
CN113411509A (zh) * | 2021-06-15 | 2021-09-17 | 西安微电子技术研究所 | 一种星载自主视觉处理系统 |
CN113486883A (zh) * | 2021-05-25 | 2021-10-08 | 航天恒星科技有限公司 | 一种卫星遥感图像感兴趣区在轨智能提取一体化处理装置 |
CN113534093A (zh) * | 2021-08-13 | 2021-10-22 | 北京环境特性研究所 | 飞机目标的螺旋桨叶片数量反演方法及目标识别方法 |
CN113589283A (zh) * | 2021-07-23 | 2021-11-02 | 中国科学院国家空间科学中心 | 一种基于星载干涉成像高度计的船只kelvin尾迹高程的提取方法 |
CN116132666A (zh) * | 2023-04-13 | 2023-05-16 | 四川赛狄信息技术股份公司 | 一种基于fpga的视频图像处理方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020041328A1 (en) * | 2000-03-29 | 2002-04-11 | Astrovision International, Inc. | Direct broadcast imaging satellite system apparatus and method for providing real-time, continuous monitoring of earth from geostationary earth orbit and related services |
CN104502999A (zh) * | 2014-12-10 | 2015-04-08 | 中国科学院遥感与数字地球研究所 | 一种基于静止卫星多通道数据的昼夜云检测方法与装置 |
CN105976345A (zh) * | 2016-04-27 | 2016-09-28 | 北京航空航天大学 | 一种可见光遥感图像合成方法 |
CN106101584A (zh) * | 2016-07-29 | 2016-11-09 | 中国科学院长春光学精密机械与物理研究所 | 一种星载模块化智能成像系统 |
CN107563961A (zh) * | 2017-09-01 | 2018-01-09 | 首都师范大学 | 一种基于相机传感器的动目标检测的系统及方法 |
CN107562665A (zh) * | 2017-09-19 | 2018-01-09 | 中国科学院长春光学精密机械与物理研究所 | 一种星上小型集群信息处理系统 |
CN109255301A (zh) * | 2018-08-14 | 2019-01-22 | 北京航空航天大学 | 一种基于fpga的红外遥感图像舰船检测虚警剔除方法 |
CN109583319A (zh) * | 2018-11-07 | 2019-04-05 | 北京市遥感信息研究所 | 一种基于海面红外遥感图像的舰船检测方法 |
CN109859178A (zh) * | 2019-01-18 | 2019-06-07 | 北京航空航天大学 | 一种基于fpga的红外遥感图像实时目标检测方法 |
CN110084822A (zh) * | 2019-05-05 | 2019-08-02 | 中国人民解放军战略支援部队航天工程大学 | 一种面向卫星在轨应用的目标探测实时处理系统及方法 |
CN110532842A (zh) * | 2019-04-19 | 2019-12-03 | 北京空间飞行器总体设计部 | 一种应用于遥感图像的在轨检测识别装置及方法 |
-
2020
- 2020-07-24 CN CN202010723927.3A patent/CN111929717A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020041328A1 (en) * | 2000-03-29 | 2002-04-11 | Astrovision International, Inc. | Direct broadcast imaging satellite system apparatus and method for providing real-time, continuous monitoring of earth from geostationary earth orbit and related services |
CN104502999A (zh) * | 2014-12-10 | 2015-04-08 | 中国科学院遥感与数字地球研究所 | 一种基于静止卫星多通道数据的昼夜云检测方法与装置 |
CN105976345A (zh) * | 2016-04-27 | 2016-09-28 | 北京航空航天大学 | 一种可见光遥感图像合成方法 |
CN106101584A (zh) * | 2016-07-29 | 2016-11-09 | 中国科学院长春光学精密机械与物理研究所 | 一种星载模块化智能成像系统 |
CN107563961A (zh) * | 2017-09-01 | 2018-01-09 | 首都师范大学 | 一种基于相机传感器的动目标检测的系统及方法 |
CN107562665A (zh) * | 2017-09-19 | 2018-01-09 | 中国科学院长春光学精密机械与物理研究所 | 一种星上小型集群信息处理系统 |
CN109255301A (zh) * | 2018-08-14 | 2019-01-22 | 北京航空航天大学 | 一种基于fpga的红外遥感图像舰船检测虚警剔除方法 |
CN109583319A (zh) * | 2018-11-07 | 2019-04-05 | 北京市遥感信息研究所 | 一种基于海面红外遥感图像的舰船检测方法 |
CN109859178A (zh) * | 2019-01-18 | 2019-06-07 | 北京航空航天大学 | 一种基于fpga的红外遥感图像实时目标检测方法 |
CN110532842A (zh) * | 2019-04-19 | 2019-12-03 | 北京空间飞行器总体设计部 | 一种应用于遥感图像的在轨检测识别装置及方法 |
CN110084822A (zh) * | 2019-05-05 | 2019-08-02 | 中国人民解放军战略支援部队航天工程大学 | 一种面向卫星在轨应用的目标探测实时处理系统及方法 |
Non-Patent Citations (1)
Title |
---|
段咏龙等: "基于FPGA的遥感图像纹理特征提取算法实现技术", 《科学技术与工程》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112481A (zh) * | 2021-04-16 | 2021-07-13 | 北京理工雷科电子信息技术有限公司 | 一种基于矩阵网络的混合异构片上架构 |
CN113112481B (zh) * | 2021-04-16 | 2023-11-17 | 北京理工雷科电子信息技术有限公司 | 一种基于矩阵网络的混合异构片上架构 |
CN113486883A (zh) * | 2021-05-25 | 2021-10-08 | 航天恒星科技有限公司 | 一种卫星遥感图像感兴趣区在轨智能提取一体化处理装置 |
CN113486883B (zh) * | 2021-05-25 | 2024-02-13 | 航天恒星科技有限公司 | 一种卫星遥感图像感兴趣区在轨智能提取一体化处理装置 |
CN113411509A (zh) * | 2021-06-15 | 2021-09-17 | 西安微电子技术研究所 | 一种星载自主视觉处理系统 |
CN113411509B (zh) * | 2021-06-15 | 2023-09-26 | 西安微电子技术研究所 | 一种星载自主视觉处理系统 |
CN113589283A (zh) * | 2021-07-23 | 2021-11-02 | 中国科学院国家空间科学中心 | 一种基于星载干涉成像高度计的船只kelvin尾迹高程的提取方法 |
CN113589283B (zh) * | 2021-07-23 | 2023-07-28 | 中国科学院国家空间科学中心 | 一种基于星载干涉成像高度计的船只kelvin尾迹高程的提取方法 |
CN113534093A (zh) * | 2021-08-13 | 2021-10-22 | 北京环境特性研究所 | 飞机目标的螺旋桨叶片数量反演方法及目标识别方法 |
CN113534093B (zh) * | 2021-08-13 | 2023-06-27 | 北京环境特性研究所 | 飞机目标的螺旋桨叶片数量反演方法及目标识别方法 |
CN116132666A (zh) * | 2023-04-13 | 2023-05-16 | 四川赛狄信息技术股份公司 | 一种基于fpga的视频图像处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111929717A (zh) | 面向遥感图像目标特性识别的星载图像处理器及处理方法 | |
TWI746865B (zh) | 深度視覺處理器 | |
US9733350B2 (en) | Vehicle radar control | |
CN107239751B (zh) | 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法 | |
CN111460968B (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
Wang et al. | Ship detection in spaceborne infrared image based on lightweight CNN and multisource feature cascade decision | |
CN102279386B (zh) | 基于fpga的sar成像信号处理数据转置方法 | |
CN103336959A (zh) | 一种基于gpu多核并行加速的车辆检测方法 | |
CN112464787B (zh) | 基于空间融合注意力的遥感图像舰船目标细粒度分类方法 | |
CN104978743A (zh) | 一种多核并行sar图像变化信息实时提取方法及装置 | |
Liu et al. | Parallel processing of massive remote sensing images in a GPU architecture | |
Der Yang et al. | Real-time crop classification using edge computing and deep learning | |
Gotovac et al. | Analysis of saliency object detection algorithms for search and rescue operations | |
Peng et al. | Infrared small-target detection based on multi-directional multi-scale high-boost response | |
CN114898403A (zh) | 一种基于Attention-JDE网络的行人多目标跟踪方法 | |
Wang et al. | Recognition on the working status of Acetes chinensis quota fishing vessels based on a 3D convolutional neural network | |
CN112434682B (zh) | 基于多传感器的数据融合方法、装置及存储介质 | |
CN107392926B (zh) | 基于前期土地专题图的遥感影像特征选择方法 | |
CN107170004A (zh) | 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法 | |
Li et al. | Pillar-based 3D object detection from point cloud with multiattention mechanism | |
WO2023213178A1 (zh) | 一种高分辨率遥感图像的目标检测方法及装置 | |
He et al. | Configurable 2D-3D CNNs Accelerator for FPGA-Based Hyperspectral Imagery Classification | |
CN113343819B (zh) | 一种高效的无人机载sar图像目标分割方法 | |
CN115311531A (zh) | 一种RefineDet网络模型的探地雷达地下空洞目标自动检测方法 | |
CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201113 |