CN108280819A - 一种双载荷遥感图像融合方法 - Google Patents

一种双载荷遥感图像融合方法 Download PDF

Info

Publication number
CN108280819A
CN108280819A CN201810111131.5A CN201810111131A CN108280819A CN 108280819 A CN108280819 A CN 108280819A CN 201810111131 A CN201810111131 A CN 201810111131A CN 108280819 A CN108280819 A CN 108280819A
Authority
CN
China
Prior art keywords
target
image
value
pixel
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810111131.5A
Other languages
English (en)
Other versions
CN108280819B (zh
Inventor
高立宁
赵艳霞
王玉婷
梁若飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Priority to CN201810111131.5A priority Critical patent/CN108280819B/zh
Publication of CN108280819A publication Critical patent/CN108280819A/zh
Application granted granted Critical
Publication of CN108280819B publication Critical patent/CN108280819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种双载荷遥感图像融合方法，一：采集相同时刻、相同场景的红外图像和可见光图像；二：获得可见光图像的背景均值参数value；三：对可见光图像进行目标检测获得目标切片；四：依据目标切片的图像坐标得到目标的物理位置；五：依据目标的物理位置得到目标在红外图像上的图像坐标，且以该坐标为中心，截取包含目标的图像块F；六：根据参数value设定阈值P，在图像块F中统计像素点灰度值大于P的像素点个数N；当像素点个数N处于设定数值区间且大于P的像素点分布集中，则目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则目标切片为真实目标；本发明能够降低光学图像目标检测中的虚警率，提高目标检测率。

Description

一种双载荷遥感图像融合方法
技术领域
本发明属于遥感图像检测的技术领域，具体涉及一种双载荷遥感图像融合方法。
背景技术
由于载体环境复杂，目标信息有着明显的多样性和不确定性，而单一遥感信息源提供的信息具有局限性，难以获得场景的准确描述。综合利用高分辨率可见光、红外图像与其它信息实现时间敏感目标(飞机、船只、车辆等)的精确检测识别能力是高分辨率图像目标检测识别技术的重要发展方向。目前的同光学综合卫星，可见光和红外成像设备是同光轴的，这为两类图像的融合提供了基础。
在红外图像中，目标如船只、飞机、车辆等相对于背景区域对比度明显，目标的轮廓信息更加凸显，而在可见光中目标容易受到涂装与背景干扰，不利于目标候选区提取；红外图像中，时敏目标在局部背景中具有较强的显著性，即目标在局部范围内与背景有较大差异。可见光图像中目标信息丰富、轮廓精确、纹理特征明显，但不能夜间工作，无伪装识别能力；红外数据具有光照条件不相关、不间断观测、测量精度高、目标识别能力强等优点，但图像背景模糊
由于各数据源的成像机理不同，图像间具有较大的特征差异，对多源数据进行融合处理，结合不同载荷对目标特征的表达优势，充分挖掘目标的潜在差异，通过优势互补和去除冗余信息，提升检测识别的效率和精度。对多源信息利用融合进行综合处理，从而获得对同一事物或目标的更客观、更本质的认识，在目标检测识别中，可大大减少云虚警的干扰，从而增加云下目标检测识别能力，降低碎云带来的高虚警率。
发明内容
有鉴于此，本发明提供了一种双载荷遥感图像融合方法，能够降低光学图像目标检测中的虚警率，提高目标检测率。
实现本发明的技术方案如下：
一种双载荷遥感图像融合方法，包括以下步骤：
步骤一：采集相同时刻、相同场景的红外图像和可见光图像；
步骤二：对可见光图像进行处理，获得图像的背景均值参数value；
步骤三：对可见光图像进行目标检测，获得目标切片；
步骤四：依据目标切片的图像坐标定位解算得到目标的物理位置；
步骤五：依据目标的物理位置定位解算得到目标在红外图像上的图像坐标，且以该坐标为中心，截取包含真实目标的图像块F；
步骤六：根据背景均值参数value设定阈值P，在图像块F中，统计像素点灰度值大于阈值P的像素点个数N；当像素点个数N处于设定的数值区间且大于阈值P的像素点分布集中，则认为所述目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则认为所述目标切片为真实目标，否则为虚警。
进一步地，所述图像块F的截取尺寸所需考虑的影响因素包括：步骤四和步骤五中的定位解算的误差、采集红外图像和可见光图像的时间差所导致的目标移动范围以及目标本身尺寸。
进一步地，针对所述数值区间根据所检测目标的本身尺寸确定。
进一步地，所述阈值P为：
P＝value-5
进一步地，对于所述大于阈值P的像素点分布集中与否的判断，具体为：将图像块F的区域不重叠的均匀划分为小块，若某小块中存在大于阈值P的像素点则该小块被标记，统计被标记小块的个数T，当T小于某一设定值时，则认为大于阈值P的像素点分布集中，否则认为大于阈值P的像素点分布分散。
有益效果：
1、本发明综合利用可见光图像提供的目标纹理信息、与红外图像提供的目标辐射特性信息，优势互补，通过相应的融合策略达到降低目标虚警率与提高目标识别率的目的。
2、本发明通过红外与可见光融合使用，可提升白天情况下弱暗对比目标的检测能力，可实现在极端条件下对目标进行观测，从而实现全天候目标检测识别能力。
3、本发明综合考虑各方面影响图像块F截取尺寸的因素，能够确保目标存在于图像块F中。
4、本发明根据目标尺寸决定素点个数N设定的数值区间能够较为高效地剔除虚警。
附图说明
图1为发明流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种双载荷遥感图像融合方法，参照图1的流程图，包括以下步骤：
步骤一：采集相同时刻、相同场景的红外图像和可见光图像；
步骤二：对步骤一采集到的可见光图像进行处理，获得图像的背景均值参数value；
步骤三：使用目标检测算法，对步骤一采集到的可见光图像进行目标检测，获得目标切片，进而得到目标的位置信息；
步骤四：依据步骤三获得的目标位置信息，定位解算获取目标的物理位置，即目标的经纬度；
步骤五：依据目标的物理位置获得目标在红外图像上的图像坐标，且以该坐标为中心，截取一定大小的包含目标的图像块F，图像块F的尺寸为128×128像素，该图像块的大小由以下因素决定：
1：依据步骤三中获得的目标切片得到目标的位置信息，该位置信息为目标位置的图像坐标，在步骤四中，由目标的位置信息，定位解算得到目标的物理经纬度坐标，这个过程中由于定位解算，会产生一定的误差e1；
在步骤五中，依据目标的经纬度，进行定位解算的逆过程，在红外图像中找到目标的图像坐标，这个过程中，由于定位解算，也会产生一定的误差e2；
2：本发明要求输入数据为相同时刻，相同场景的光学图像与红外图像，但实际拍摄中，搭载光学成像与红外成像双载荷的成像设备，进行拍摄时是先进行光学成像，再进行红外成像，两种载荷成像间存在时间差，在这段时间内，目标会进行移动，应该考虑目标的移动距离S，计算公式如下：
S＝V×T (1)
其中，S为目标移动的距离，V表示目标的移动速度，T表示两种成像的时间间隔，默认目标匀速移动；
3：目标本身具有一定的大小，不是图像中的一个点，而是很多像素点，因而需考虑目标大小的因素；
综合分析上述三种因素，最终决定了图像块F的尺寸为128×128像素；
步骤六：根据背景均值参数value设定阈值P，在图像块F中，统计像素点灰度值大于阈值P的像素点个数N；当像素点个数N处于设定的数值区间且大于阈值P的像素点分布集中，则认为所述目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则认为所述目标切片为真实目标，否则为虚警。
针对所述数值区间根据所检测目标的本身尺寸确定。
对于所述大于阈值P的像素点分布集中与否的判断，具体为：当像素点个数N处于设定的数值区间内，将图像块F的区域不重叠的均匀划分为小块，若某小块中存在大于阈值P的像素点则该小块被标记，统计被标记小块的个数T，当T小于某一设定值时，则认为大于阈值P的像素点分布集中，否则认为大于阈值P的像素点分布分散。
阈值的选取：
阈值P是在背景均值value的基础上，上下浮动k的结果，即：
P＝value+k (2)
通过大量数据的试验，确定k的具体数值，验证得到k的值为-5，所以设定的阈值P为：
P＝value-5 (3)
统计图像块F中像素点的灰度值大于固定阈值P的像素点个数N，由于检测目标本身的大小，当N<8时，目标太小，不符合检测要求，判断为虚警；当8≤N≤16时，需要进一步进行判断；当N>16时，判断为目标；
当大于阈值P的像素点个数8≤N≤16时，将图像块F中128×128的区域不重叠的均匀划分为4×4的小块，查看每个4×4的小块,如果4×4小块的16个数中存在大于阈值P的像素点就进行计数，称为该4×4的小块被点亮，统计当前128×128的区域中有多少个4×4小块被点亮，点亮的个数为T；
当T<4时，大于阈值P的像素点分布比较集中，符合目标的状态，认为是目标；当T≥4时，大于阈值P的像素点分布很分散，认为是虚警剔除；将最终判断结果进行输出。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种双载荷遥感图像融合方法，其特征在于，包括以下步骤：
步骤一：采集相同时刻、相同场景的红外图像和可见光图像；
步骤二：对可见光图像进行处理，获得图像的背景均值参数value；
步骤三：对可见光图像进行目标检测，获得目标切片；
步骤四：依据目标切片的图像坐标定位解算得到目标的物理位置；
步骤五：依据目标的物理位置定位解算得到目标在红外图像上的图像坐标，且以该坐标为中心，截取包含目标的图像块F；
步骤六：根据背景均值参数value设定阈值P，在图像块F中，统计像素点灰度值大于阈值P的像素点个数N；当像素点个数N处于设定的数值区间且大于阈值P的像素点分布集中，则认为所述目标切片为真实目标，当像素点个数N大于设定的数值区间的右端值，则认为所述目标切片为真实目标，否则为虚警。
2.如权利要求1所述的一种双载荷遥感图像融合方法，其特征在于，所述图像块F的截取尺寸所需考虑的影响因素包括：步骤四和步骤五中的定位解算的误差、采集红外图像和可见光图像的时间差所导致的目标移动范围以及目标本身尺寸。
3.如权利要求1所述的一种双载荷遥感图像融合方法，其特征在于，针对所述数值区间根据所检测目标的本身尺寸确定。
4.如权利要求1所述的一种双载荷遥感图像融合方法，其特征在于，所述阈值P为：
P＝value-5
5.如权利要求1所述的一种双载荷遥感图像融合方法，其特征在于，对于所述大于阈值P的像素点分布集中与否的判断，具体为：将图像块F的区域不重叠的均匀划分为小块，若某小块中存在大于阈值P的像素点则该小块被标记，统计被标记小块的个数T，当T小于某一设定值时，则认为大于阈值P的像素点分布集中，否则认为大于阈值P的像素点分布分散。
CN201810111131.5A 2018-02-02 2018-02-02 一种双载荷遥感图像融合方法 Active CN108280819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810111131.5A CN108280819B (zh) 2018-02-02 2018-02-02 一种双载荷遥感图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810111131.5A CN108280819B (zh) 2018-02-02 2018-02-02 一种双载荷遥感图像融合方法

Publications (2)

Publication Number Publication Date
CN108280819A true CN108280819A (zh) 2018-07-13
CN108280819B CN108280819B (zh) 2022-03-25

Family

ID=62807500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810111131.5A Active CN108280819B (zh) 2018-02-02 2018-02-02 一种双载荷遥感图像融合方法

Country Status (1)

Country Link
CN (1) CN108280819B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461168A (zh) * 2018-10-15 2019-03-12 腾讯科技（深圳）有限公司 目标对象的识别方法和装置、存储介质、电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN102789640A (zh) * 2012-07-16 2012-11-21 中国科学院自动化研究所 一种将可见光全色图像与红外遥感图像进行融合的方法
CN102789578A (zh) * 2012-07-17 2012-11-21 北京市遥感信息研究所 基于多源目标特征支持的红外遥感图像变化检测方法
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
US20080036576A1 (en) * 2006-05-31 2008-02-14 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN102789640A (zh) * 2012-07-16 2012-11-21 中国科学院自动化研究所 一种将可见光全色图像与红外遥感图像进行融合的方法
CN102789578A (zh) * 2012-07-17 2012-11-21 北京市遥感信息研究所 基于多源目标特征支持的红外遥感图像变化检测方法
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUKUN BI ETC.: "A Visual Search Inspired Computational Model for Ship Detection in Optical Satellite Images", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
张炳刚: "基于图像处理技术的镁熔液弱小目标识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461168A (zh) * 2018-10-15 2019-03-12 腾讯科技（深圳）有限公司 目标对象的识别方法和装置、存储介质、电子装置
CN109461168B (zh) * 2018-10-15 2021-03-16 腾讯科技（深圳）有限公司 目标对象的识别方法和装置、存储介质、电子装置
US11443498B2 (en) 2018-10-15 2022-09-13 Tencent Technology (Shenzhen) Company Limited Target object recognition method and apparatus, storage medium, and electronic device

Also Published As

Publication number Publication date
CN108280819B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN103810717B (zh) 一种人体行为检测方法及装置
Zhang et al. Automatic background construction and object detection based on roadside LiDAR
CN111881730A (zh) 一种火电厂现场安全帽佩戴检测方法
CN104106105B (zh) 立体物检测装置
CN102789578B (zh) 基于多源目标特征支持的红外遥感图像变化检测方法
CN106254827B (zh) 一种团雾智能识别预警方法及其装置
CN103646250A (zh) 基于距离图像头肩特征的行人监测方法及装置
CN103325255A (zh) 基于摄影测量技术进行区域交通状况检测的方法
CN105608417A (zh) 交通信号灯检测方法及装置
CN110210474A (zh) 目标检测方法及装置、设备及存储介质
CN106156758B (zh) 一种sar海岸图像中海岸线提取方法
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN111582255A (zh) 车辆超限检测方法、装置、计算机设备和存储介质
CN106295657A (zh) 一种视频数据结构化过程中提取人体高度特征的方法
CN115965655A (zh) 一种基于雷视一体的交通目标跟踪方法
CN102129559A (zh) 基于Primal Sketch算法的SAR图像目标检测方法
Wang et al. Traffic camera anomaly detection
CN105469054A (zh) 正常行为的模型构建方法及异常行为的检测方法
CN106372566A (zh) 一种基于数字标牌紧急疏散系统及方法
CN108280819A (zh) 一种双载荷遥感图像融合方法
CN106407900B (zh) 基于多源航片的异常场景识别方法
CN105205819A (zh) 一种基于层次结构的公交车辆检测方法
Liu et al. Abnormal behavior analysis strategy of bus drivers based on deep learning
Gavrilov et al. Automated visual information processing using artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant