CN108280819B - 一种双载荷遥感图像融合方法 - Google Patents
一种双载荷遥感图像融合方法 Download PDFInfo
- Publication number
- CN108280819B CN108280819B CN201810111131.5A CN201810111131A CN108280819B CN 108280819 B CN108280819 B CN 108280819B CN 201810111131 A CN201810111131 A CN 201810111131A CN 108280819 B CN108280819 B CN 108280819B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- value
- visible light
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 9
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开一种双载荷遥感图像融合方法，一：采集相同时刻、相同场景的红外图像和可见光图像；二：获得可见光图像的背景均值参数value；三：对可见光图像进行目标检测获得目标切片；四：依据目标切片的图像坐标得到目标的物理位置；五：依据目标的物理位置得到目标在红外图像上的图像坐标，且以该坐标为中心，截取包含目标的图像块F；六：根据参数value设定阈值P，在图像块F中统计像素点灰度值大于P的像素点个数N；当像素点个数N处于设定数值区间且大于P的像素点分布集中，则目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则目标切片为真实目标；本发明能够降低光学图像目标检测中的虚警率，提高目标检测率。
Description
技术领域
本发明属于遥感图像检测的技术领域，具体涉及一种双载荷遥感图像融合方法。
背景技术
由于载体环境复杂，目标信息有着明显的多样性和不确定性，而单一遥感信息源提供的信息具有局限性，难以获得场景的准确描述。综合利用高分辨率可见光、红外图像与其它信息实现时间敏感目标(飞机、船只、车辆等)的精确检测识别能力是高分辨率图像目标检测识别技术的重要发展方向。目前的同光学综合卫星，可见光和红外成像设备是同光轴的，这为两类图像的融合提供了基础。
在红外图像中，目标如船只、飞机、车辆等相对于背景区域对比度明显，目标的轮廓信息更加凸显，而在可见光中目标容易受到涂装与背景干扰，不利于目标候选区提取；红外图像中，时敏目标在局部背景中具有较强的显著性，即目标在局部范围内与背景有较大差异。可见光图像中目标信息丰富、轮廓精确、纹理特征明显，但不能夜间工作，无伪装识别能力；红外数据具有光照条件不相关、不间断观测、测量精度高、目标识别能力强等优点，但图像背景模糊
由于各数据源的成像机理不同，图像间具有较大的特征差异，对多源数据进行融合处理，结合不同载荷对目标特征的表达优势，充分挖掘目标的潜在差异，通过优势互补和去除冗余信息，提升检测识别的效率和精度。对多源信息利用融合进行综合处理，从而获得对同一事物或目标的更客观、更本质的认识，在目标检测识别中，可大大减少云虚警的干扰，从而增加云下目标检测识别能力，降低碎云带来的高虚警率。
发明内容
有鉴于此，本发明提供了一种双载荷遥感图像融合方法，能够降低光学图像目标检测中的虚警率，提高目标检测率。
实现本发明的技术方案如下：
一种双载荷遥感图像融合方法，包括以下步骤：
步骤一：采集相同时刻、相同场景的红外图像和可见光图像；
步骤二：对可见光图像进行处理，获得图像的背景均值参数value；
步骤三：对可见光图像进行目标检测，获得目标切片；
步骤四：依据目标切片的图像坐标定位解算得到目标的物理位置；
步骤五：依据目标的物理位置定位解算得到目标在红外图像上的图像坐标，且以该坐标为中心，截取包含真实目标的图像块F；
步骤六：根据背景均值参数value设定阈值P，在图像块F中，统计像素点灰度值大于阈值P的像素点个数N；当像素点个数N处于设定的数值区间且大于阈值P的像素点分布集中，则认为所述目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则认为所述目标切片为真实目标，否则为虚警。
进一步地，所述图像块F的截取尺寸所需考虑的影响因素包括：步骤四和步骤五中的定位解算的误差、采集红外图像和可见光图像的时间差所导致的目标移动范围以及目标本身尺寸。
进一步地，针对所述数值区间根据所检测目标的本身尺寸确定。
进一步地，所述阈值P为：
P＝value-5
进一步地，对于所述大于阈值P的像素点分布集中与否的判断，具体为：将图像块F的区域不重叠的均匀划分为小块，若某小块中存在大于阈值P的像素点则该小块被标记，统计被标记小块的个数T，当T小于某一设定值时，则认为大于阈值P的像素点分布集中，否则认为大于阈值P的像素点分布分散。
有益效果：
1、本发明综合利用可见光图像提供的目标纹理信息、与红外图像提供的目标辐射特性信息，优势互补，通过相应的融合策略达到降低目标虚警率与提高目标识别率的目的。
2、本发明通过红外与可见光融合使用，可提升白天情况下弱暗对比目标的检测能力，可实现在极端条件下对目标进行观测，从而实现全天候目标检测识别能力。
3、本发明综合考虑各方面影响图像块F截取尺寸的因素，能够确保目标存在于图像块F中。
4、本发明根据目标尺寸决定素点个数N设定的数值区间能够较为高效地剔除虚警。
附图说明
图1为发明流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种双载荷遥感图像融合方法，参照图1的流程图，包括以下步骤：
步骤一：采集相同时刻、相同场景的红外图像和可见光图像；
步骤二：对步骤一采集到的可见光图像进行处理，获得图像的背景均值参数value；
步骤三：使用目标检测算法，对步骤一采集到的可见光图像进行目标检测，获得目标切片，进而得到目标的位置信息；
步骤四：依据步骤三获得的目标位置信息，定位解算获取目标的物理位置，即目标的经纬度；
步骤五：依据目标的物理位置获得目标在红外图像上的图像坐标，且以该坐标为中心，截取一定大小的包含目标的图像块F，图像块F的尺寸为128×128像素，该图像块的大小由以下因素决定：
1：依据步骤三中获得的目标切片得到目标的位置信息，该位置信息为目标位置的图像坐标，在步骤四中，由目标的位置信息，定位解算得到目标的物理经纬度坐标，这个过程中由于定位解算，会产生一定的误差e1；
在步骤五中，依据目标的经纬度，进行定位解算的逆过程，在红外图像中找到目标的图像坐标，这个过程中，由于定位解算，也会产生一定的误差e2；
2：本发明要求输入数据为相同时刻，相同场景的光学图像与红外图像，但实际拍摄中，搭载光学成像与红外成像双载荷的成像设备，进行拍摄时是先进行光学成像，再进行红外成像，两种载荷成像间存在时间差，在这段时间内，目标会进行移动，应该考虑目标的移动距离S，计算公式如下：
S＝V×T (1)
其中，S为目标移动的距离，V表示目标的移动速度，T表示两种成像的时间间隔，默认目标匀速移动；
3：目标本身具有一定的大小，不是图像中的一个点，而是很多像素点，因而需考虑目标大小的因素；
综合分析上述三种因素，最终决定了图像块F的尺寸为128×128像素；
步骤六：根据背景均值参数value设定阈值P，在图像块F中，统计像素点灰度值大于阈值P的像素点个数N；当像素点个数N处于设定的数值区间且大于阈值P的像素点分布集中，则认为所述目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则认为所述目标切片为真实目标，否则为虚警。
针对所述数值区间根据所检测目标的本身尺寸确定。
对于所述大于阈值P的像素点分布集中与否的判断，具体为：当像素点个数N处于设定的数值区间内，将图像块F的区域不重叠的均匀划分为小块，若某小块中存在大于阈值P的像素点则该小块被标记，统计被标记小块的个数T，当T小于某一设定值时，则认为大于阈值P的像素点分布集中，否则认为大于阈值P的像素点分布分散。
阈值的选取：
阈值P是在背景均值value的基础上，上下浮动k的结果，即：
P＝value+k (2)
通过大量数据的试验，确定k的具体数值，验证得到k的值为-5，所以设定的阈值P为：
P＝value-5 (3)
统计图像块F中像素点的灰度值大于固定阈值P的像素点个数N，由于检测目标本身的大小，当N<8时，目标太小，不符合检测要求，判断为虚警；当8≤N≤16时，需要进一步进行判断；当N>16时，判断为目标；
当大于阈值P的像素点个数8≤N≤16时，将图像块F中128×128的区域不重叠的均匀划分为4×4的小块，查看每个4×4的小块,如果4×4小块的16个数中存在大于阈值P的像素点就进行计数，称为该4×4的小块被点亮，统计当前128×128的区域中有多少个4×4小块被点亮，点亮的个数为T；
当T<4时，大于阈值P的像素点分布比较集中，符合目标的状态，认为是目标；当T≥4时，大于阈值P的像素点分布很分散，认为是虚警剔除；将最终判断结果进行输出。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种双载荷遥感图像融合方法，其特征在于，包括以下步骤：
步骤一：采集相同时刻、相同场景的红外图像和可见光图像；
步骤二：对可见光图像进行处理，获得图像的背景均值参数value；
步骤三：对可见光图像进行目标检测，获得目标切片；
步骤四：依据目标切片的图像坐标定位解算得到目标的物理位置；
步骤五：依据目标的物理位置定位解算得到目标在红外图像上的图像坐标，且以该坐标为中心，截取包含目标的图像块F；
步骤六：根据背景均值参数value设定阈值P，在图像块F中，统计像素点灰度值大于阈值P的像素点个数N；
当像素点个数N处于设定的数值区间且该N个像素点分布集中时，则认为所述目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则认为所述目标切片为真实目标，否则为虚警；
其中，对于所述像素点分布集中与否的判断，具体为：将图像块F的区域不重叠的均匀划分为小块，若某小块中存在大于阈值P的像素点则该小块被标记，统计被标记小块的个数T，当T小于某一设定值时，则认为大于阈值P的像素点分布集中，否则认为大于阈值P的像素点分布分散。
2.如权利要求1所述的一种双载荷遥感图像融合方法，其特征在于，所述图像块F的截取尺寸所需考虑的影响因素包括：步骤四和步骤五中的定位解算的误差、采集红外图像和可见光图像的时间差所导致的目标移动范围以及目标本身尺寸。
3.如权利要求1所述的一种双载荷遥感图像融合方法，其特征在于，针对所述数值区间根据所检测目标的本身尺寸确定。
4.如权利要求1所述的一种双载荷遥感图像融合方法，其特征在于，所述阈值P为：
P＝value-5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810111131.5A CN108280819B (zh) | 2018-02-02 | 2018-02-02 | 一种双载荷遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810111131.5A CN108280819B (zh) | 2018-02-02 | 2018-02-02 | 一种双载荷遥感图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108280819A CN108280819A (zh) | 2018-07-13 |
| CN108280819B true CN108280819B (zh) | 2022-03-25 |
Family
ID=62807500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810111131.5A Active CN108280819B (zh) | 2018-02-02 | 2018-02-02 | 一种双载荷遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108280819B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461168B (zh) * | 2018-10-15 | 2021-03-16 | 腾讯科技（深圳）有限公司 | 目标对象的识别方法和装置、存储介质、电子装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102789578A (zh) * | 2012-07-17 | 2012-11-21 | 北京市遥感信息研究所 | 基于多源目标特征支持的红外遥感图像变化检测方法 |
| CN102789640A (zh) * | 2012-07-16 | 2012-11-21 | 中国科学院自动化研究所 | 一种将可见光全色图像与红外遥感图像进行融合的方法 |
| CN103778618A (zh) * | 2013-11-04 | 2014-05-07 | 国家电网公司 | 一种可见光图像和红外图像的融合方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7602942B2 (en) * | 2004-11-12 | 2009-10-13 | Honeywell International Inc. | Infrared and visible fusion face recognition system |
| US7786898B2 (en) * | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
-
2018
- 2018-02-02 CN CN201810111131.5A patent/CN108280819B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102789640A (zh) * | 2012-07-16 | 2012-11-21 | 中国科学院自动化研究所 | 一种将可见光全色图像与红外遥感图像进行融合的方法 |
| CN102789578A (zh) * | 2012-07-17 | 2012-11-21 | 北京市遥感信息研究所 | 基于多源目标特征支持的红外遥感图像变化检测方法 |
| CN103778618A (zh) * | 2013-11-04 | 2014-05-07 | 国家电网公司 | 一种可见光图像和红外图像的融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Visual Search Inspired Computational Model for Ship Detection in Optical Satellite Images;Fukun Bi etc.;《IEEE Geoscience and Remote Sensing Letters》;20120203;第09卷(第04期);第749-753页 * |
| 基于图像处理技术的镁熔液弱小目标识别研究;张炳刚;《中国优秀博硕士学位论文全文数据库(硕士)》;20170315(第03期);第I138-5036页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108280819A (zh) | 2018-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Ship detection from coastal surveillance videos via an ensemble Canny-Gaussian-morphology framework | |
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN108445480B (zh) | 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法 | |
| CN105225251B (zh) | 基于机器视觉的超视距海上运动目标快速识别与定位装置及方法 | |
| US20150213299A1 (en) | Infrared image based early detection of oil spills in water | |
| CN108198417B (zh) | 一种基于无人机的道路巡检系统 | |
| CN102496015A (zh) | 二维高斯分布光斑图像中心快速高精度定位方法 | |
| CN111027496A (zh) | 基于空时联合局部对比度的红外弱小目标检测方法 | |
| CN112184765B (zh) | 一种用于水下航行器的自主跟踪方法 | |
| Li et al. | Space target detection in complicated situations for wide-field surveillance | |
| Ahmadi et al. | A simple method for detecting and tracking vehicles and vessels from high resolution spaceborne videos | |
| CN109697428B (zh) | 基于rgb_d和深度卷积网络的无人机识别定位系统 | |
| CN108280819B (zh) | 一种双载荷遥感图像融合方法 | |
| Zhang et al. | Power line detection for aircraft safety based on image processing techniques: advances and recommendations | |
| CN103018785A (zh) | 一种机场跑道异物检查系统 | |
| Hashimoto et al. | Lunar crater detection based on grid partition using deep learning | |
| CN113971697A (zh) | 一种空地协同车辆定位定向方法 | |
| CN111563428B (zh) | 一种机场停机位入侵检测方法及其系统 | |
| Moon et al. | Real-time parallel image-processing scheme for a fire-control system | |
| WO2023275544A1 (en) | Methods and systems for detecting vessels | |
| CN112734788B (zh) | 高分辨sar飞机目标轮廓提取方法、系统、存储介质及设备 | |
| CN112037148B (zh) | 大数据运动目标检测识别方法及系统 | |
| CN106897968B (zh) | 一种遥感图像地物的图像拼接方法及系统 | |
| CN111105419A (zh) | 一种基于极化sar图像的车辆船舶检测方法及装置 | |
| Yan et al. | An efficient plot fusion method for high resolution radar based on contour tracking algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |