CN110428455B - 一种可见光图像与远红外图像目标配准方法 - Google Patents

一种可见光图像与远红外图像目标配准方法 Download PDF

Info

Publication number
CN110428455B
CN110428455B CN201910321375.0A CN201910321375A CN110428455B CN 110428455 B CN110428455 B CN 110428455B CN 201910321375 A CN201910321375 A CN 201910321375A CN 110428455 B CN110428455 B CN 110428455B
Authority
CN
China
Prior art keywords
visible light
far infrared
image
target
edge direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910321375.0A
Other languages
English (en)
Other versions
CN110428455A (zh
Inventor
漆昇翔
黄大羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aeronautical Radio Electronics Research Institute
Original Assignee
China Aeronautical Radio Electronics Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aeronautical Radio Electronics Research Institute filed Critical China Aeronautical Radio Electronics Research Institute
Priority to CN201910321375.0A priority Critical patent/CN110428455B/zh
Publication of CN110428455A publication Critical patent/CN110428455A/zh
Application granted granted Critical
Publication of CN110428455B publication Critical patent/CN110428455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供本申请提出了一种可见光图像与远红外图像目标配准方法，所述方法包括：分别提取可见光图像与远红外图像的空间灰度直方图特征；基于所述空间灰度直方图特征，对可见光图像与远红外图像目标进行粗分类；分别提取可见光图像与远红外图像的边缘特征，得到边缘方向直方图特征；根据所述边缘方向直方图特征，分别提取可见光图像与远红外图像的空间边缘方向直方图特征；基于所述空间边缘方向直方图特征，实现可见光图像目标和远红外图像目标精配准。

Description

一种可见光图像与远红外图像目标配准方法
技术领域
本发明涉及一种可见光与远红外图像目标配准方法，属于图像配准技术领域。
背景技术
可见光图像的颜色和纹理信息丰富，但夜间成像效果差；远红外图像可以全天候成像，并保留了完整的边缘信息。
目前，图像目标配准方法当目标数目增加时，采用盲搜索机制寻找多源图像中最佳目标匹配对的时间复杂度会大幅度增大，不能满足实时性要求。
发明内容
针对现有异源图像配准技术的不足，本发明的目的在于提供一种可见光与远红外图像中的目标配准方法。
本申请提出了一种可见光图像与远红外图像目标配准方法，所述方法包括：
分别提取可见光图像与远红外图像的空间灰度直方图特征；
基于所述空间灰度直方图特征，对可见光图像与远红外图像目标进行粗分类；
分别提取可见光图像与远红外图像的边缘特征，得到边缘方向直方图特征；
根据所述边缘方向直方图特征，分别提取可见光图像与远红外图像的空间边缘方向直方图特征；
基于所述空间边缘方向直方图特征，实现可见光图像目标和远红外图像目标精配准。
可选的，所述基于所述空间灰度直方图特征对可见光图像与远红外图像目标进行粗分类，具体包括：
分别提取可见光图像和远红外图像中的目标区域，并根据目标区域分别提取可见光图像和远红外图像的空间灰度直方图特征；
针对每个单源图像的空间灰度直方图特征，计算两两目标图像的空间灰度直方图相似度，将相似度值大于预设值的目标对判定为同一类目标。
可选的，基于所述空间边缘方向直方图特征实现可见光图像目标和远红外图像目标精配准，具体包括：
分别提取可见光图像和远红外图像中的空间边缘方向直方图特征；
计算可见光图像与远红外图像两两之间的相似度；
根据所述可见光图像与远红外图像两两之间的相似度，对可见光图像和远红外图像进行精配准。
可选的，将相似度值大于预设值的目标对判定为同一类目标，具体包括：
将相似度值大于0.5且目标对之间存在公共目标，则判断所述目标属于同一类型。
可选的，计算可见光图像与远红外图像两两之间的相似度，具体包括：
采用相关度法，计算可见光图像与远红外图像两两之间的相似度。
可选的，所述分别提取可见光图像与远红外图像的边缘特征，得到边缘方向直方图特征，具体包括：
使用Canny算子检测可见光图像和远红外图像的边缘，得到边缘方向直方图；
根据所述边缘方向直方图得到边缘方向直方图特征。
可选的，根据所述边缘方向直方图特征，分别提取可见光图像与远红外图像的空间边缘方向直方图特征，具体包括：
分别将可见光图像与远红外图像空间划分为至少两个大小一致的子块；
提取每个子块的边缘方向直方图特征；
将所有子块的直方图特征串联成一个高维的代表整个图像的边缘方向直方图特征。
可选的，分别提取可见光图像与远红外图像的空间边缘方向直方图特征，具体包括：
分别提取可见光图像与远红外图像的36维空间边缘方向直方图特征。
综上所述，本申请实现配准可见光与远红外图像中的目标。
附图说明
图1本发明实施例提供的一种可见光与远红外图像目标配准方法流程示意图；
图2本发明实施例提供的一种空间边缘方向直方图特征分块提取示意图。
具体实施方式
实施例一
本发明旨在提供一种可见光与远红外两波段图像目标配准方法。充分利用可见光与远红外两波段图像的灰度信息、边缘信息和空间信息，先基于空间灰度直方图特征实现各单源图像中目标的粗分类，后基于空间边缘方向直方图特征实现可见光与远红外两波段图像中同类目标的精配准，即基于先粗分类后精配准的可见光与远红外图像目标配准方法。
为实现上述目的，本发明采用如下技术方案：
一种可见光与远红外图像目标配准方法，所述方法包括首先分别对可见光图像和远红外图像中的目标粗分类，再分别对同一类型的可见光图像目标和远红外图像目标精配准，最终实现二源图像目标配准。
在所述对可见光与远红外两波段图像进行目标配准时，先对图像进行粗分类后进行精配准；
所述对可见光与远红外图像进行目标配准的具体过程为：
步骤1.1，提取可见光与远红外图像的空间灰度直方图特征；
步骤1.2，实现可见光与远红外图像目标的粗分类；
步骤1.3，提取可见光与远红外图像完整的边缘特征，得到边缘方向直方图特征；
步骤1.4，提取可见光与远红外图像空间边缘方向直方图特征；
步骤1.5，实现可见光与远红外图像同类目标精配准；
在所述对可见光与远红外两波段图像进行目标粗分类的具体过程为：
步骤2.1，分别提取可见光图像和远红外图像中的目标区域，并提取各目标图像的空间灰度直方图特征；
步骤2.2，针对每个单源图像，计算两两目标图像的空间灰度直方图相似度，将相似度值大于0.5的目标对判定为同一类目标。如果有多个目标对的相似度值大于0.5且目标对之间存在公共目标，那么认为这些目标都属于同一类型。
在所述对可见光与远红外图像同类目标精配准的具体过程为：
步骤3.1，在精配准同类型的可见光图像目标和远红外图像目标时，首先提取各自目标图像的36维空间边缘方向直方图特征，采用相关度法计算同类型可见光图像目标与远红外图像目标两两之间的相似度。
步骤3.2，找到代表同一目标的可见光图像目标和远红外图像目标，最终完成同类型的可见光图像目标和远红外图像目标精配准。
本发明具有如下创新：
1、融合了目标的可见光与远红外二波段图像特征进行目标配准，充分利用了目标不同源图像之间的互补信息。
2、单源图像目标粗分类处理的是同源的目标图像，因此能减小不同源图像成像机理差异对配准精度的影响。
可见，本申请实现配准可见光与远红外图像中的目标。
实施例二
具体的，该方法首先分别对可见光图像和远红外图像中的目标粗分类，再分别对同一类型的可见光图像目标和远红外图像目标精配准，最终实现二源图像目标配准。具体步骤如下：
(1)可见光与远红外图像目标粗分类
①分别提取可见光图像和远红外图像中的目标区域，并提取各目标图像的空间灰度直方图特征。
图像的二阶空间灰度直方图特征定义如下：
Figure BDA0002034228220000051
其中，nb表示像素灰度值落入区间b内的像素个数，μb和Σb分别代表区间b中像素坐标的平均值和协方差，B则是空间灰度直方图区间的个数。μb和Σb的计算公式为：
Figure BDA0002034228220000052
Figure BDA0002034228220000053
式中，xi＝[x,y]T表示像素i的空间位置，N表示图像像素的总个数。
②针对每个单源图像，计算两两目标图像的空间灰度直方图相似度，将相似度值大于0.5的目标对判定为同一类目标。如果有多个目标对的相似度值大于0.5且目标对之间存在公共目标，那么认为这些目标都属于同一类型。
两个空间灰度直方图特征的相似度是通过计算对应灰度直方图特征相似度的加权和得到：
Figure BDA0002034228220000061
对于二阶空间灰度直方图特征而言，加权系数是像素坐标的函数：
Figure BDA0002034228220000062
其中，η为高斯归一化常数；
Figure BDA0002034228220000063
两灰度直方图特征相似度是通过计算巴氏系数得到：
Figure BDA0002034228220000064
加权系数ψb的计算公式如下：
Figure BDA0002034228220000065
式中，
Figure BDA0002034228220000066
通过式(5)计算得到两空间灰度直方图特征之间的相似度，并规定相似度值大于0.5所对应的两个目标为同一类目标。
(2)可见光与远红外图像同类目标精配准
①在精配准同类型的可见光图像目标和远红外图像目标时，首先提取各自目标图像的36维空间边缘方向直方图特征，采用相关度法计算同类型可见光图像目标与远红外图像目标两两之间的相似度。
Ⅰ边缘方向直方图特征
使用Canny算子检测图像的边缘。边缘方向直方图算法如下：
(1)图像灰度化；
(2)Canny算子检测图像边缘，得到图像边缘像素的梯度方向角θ(x,y)，θ的范围为－90°～90°；
(3)均匀量化梯度方向角为9个等级，每个等级的边缘方向角变化量为20°；
(4)将边缘方向角θ进行直方图统计并归一化。
最终由边缘方向直方图得到边缘方向直方图特征，合计9维。
Ⅱ空间边缘方向直方图特征
将图像空间划分为若干个大小一致的子块，然后提取每个子块的边缘方向直方图特征，最后将所有子块的直方图特征串联成一个高维的代表整个图像的边缘方向直方图特征。分块太大则失去了分块的意义，分块太小则增加算法运行时间。经过多次实验，最终确定在比较可见光图像目标和远红外图像目标时将两图像目标区域划分为2×2个子图像，对应的空间边缘方向直方图特征的维数为36维。图2为远红外图像目标2×2分块的示意图。
在比较可见光图像目标和远红外图像目标时使用相关度法计算空间边缘方向直方图特征相似度。空间边缘方向直方图特征相关度的计算公式为：
Figure BDA0002034228220000071
其中，Hk′＝Hk(i)-(1/N)(∑jHk(j))(k＝1,2)，且N等于边缘方向直方图中区间的个数。
②找到代表同一目标的可见光图像目标和远红外图像目标，最终完成同类型的可见光图像目标和远红外图像目标精配准。

Claims (8)

1.一种可见光图像与远红外图像目标配准方法，其特征在于：所述方法包括：
分别提取可见光图像与远红外图像的空间灰度直方图特征；
基于所述空间灰度直方图特征，对可见光图像与远红外图像目标进行粗分类；
分别提取可见光图像与远红外图像的边缘特征，得到边缘方向直方图特征；
根据所述边缘方向直方图特征，分别提取可见光图像与远红外图像的空间边缘方向直方图特征；
基于所述空间边缘方向直方图特征，实现可见光图像目标和远红外图像目标精配准。
2.根据权利要求1所述的方法，其特征在于：所述基于所述空间灰度直方图特征对可见光图像与远红外图像目标进行粗分类，具体包括：
分别提取可见光图像和远红外图像中的目标区域，并根据目标区域分别提取可见光图像和远红外图像的空间灰度直方图特征；
针对每个单源图像的空间灰度直方图特征，计算两两目标图像的空间灰度直方图相似度，将相似度值大于预设值的目标对判定为同一类目标。
3.根据权利要求1所述的方法，其特征在于：基于所述空间边缘方向直方图特征实现可见光图像目标和远红外图像目标精配准，具体包括：
分别提取可见光图像和远红外图像中的空间边缘方向直方图特征；
计算可见光图像与远红外图像两两之间的相似度；
根据所述可见光图像与远红外图像两两之间的相似度，对可见光图像和远红外图像进行精配准。
4.根据权利要求2所述的方法，其特征在于：将相似度值大于预设值的目标对判定为同一类目标，具体包括：
将相似度值大于0.5且目标对之间存在公共目标，则判断所述目标属于同一类型。
5.根据权利要求3所述的方法，其特征在于：所述计算可见光图像与远红外图像两两之间的相似度，具体包括：
采用相关度法，计算可见光图像与远红外图像两两之间的相似度。
6.根据权利要求1所述的方法，其特征在于，所述分别提取可见光图像与远红外图像的边缘特征，得到边缘方向直方图特征，具体包括：
使用Canny算子检测可见光图像和远红外图像的边缘，得到边缘方向直方图；
根据所述边缘方向直方图得到边缘方向直方图特征。
7.根据权利要求1所述的方法，其特征在于：根据所述边缘方向直方图特征，分别提取可见光图像与远红外图像的空间边缘方向直方图特征，具体包括：
分别将可见光图像与远红外图像空间划分为至少两个大小一致的子块；
提取每个子块的边缘方向直方图特征；
将所有子块的直方图特征串联成一个高维的代表整个图像的边缘方向直方图特征。
8.根据权利要求1所述的方法，其特征在于：分别提取可见光图像与远红外图像的空间边缘方向直方图特征，具体包括：
分别提取可见光图像与远红外图像的36维空间边缘方向直方图特征。
CN201910321375.0A 2019-04-19 2019-04-19 一种可见光图像与远红外图像目标配准方法 Active CN110428455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910321375.0A CN110428455B (zh) 2019-04-19 2019-04-19 一种可见光图像与远红外图像目标配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910321375.0A CN110428455B (zh) 2019-04-19 2019-04-19 一种可见光图像与远红外图像目标配准方法

Publications (2)

Publication Number Publication Date
CN110428455A CN110428455A (zh) 2019-11-08
CN110428455B true CN110428455B (zh) 2022-11-04

Family

ID=68408406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910321375.0A Active CN110428455B (zh) 2019-04-19 2019-04-19 一种可见光图像与远红外图像目标配准方法

Country Status (1)

Country Link
CN (1) CN110428455B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于最大互信息的红外与可见光图像配准;李然;《电脑知识与技术》;20081215(第35期);全文 *

Also Published As

Publication number Publication date
CN110428455A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN109064502B (zh) 基于深度学习和人工设计特征相结合的多源图像配准方法
CN109145915B (zh) 一种复杂场景下车牌快速畸变矫正方法
CN107610114B (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN107563377A (zh) 一种利用边缘和文字区域的证件关键区域检测定位方法
CN108491498B (zh) 一种基于多特征检测的卡口图像目标搜索方法
CN107316031A (zh) 用于行人重识别的图像特征提取方法
CN105279772B (zh) 一种红外序列图像的可跟踪性判别方法
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
CN105825203A (zh) 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN107729812B (zh) 一种适用于监控场景中的车辆颜色识别的方法
CN105139011B (zh) 一种基于标识物图像的车辆识别方法及装置
CN107092876A (zh) 基于Retinex与S‑SIFT特征结合的低照度车型识别方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN106503748A (zh) 一种基于s‑sift特征和svm训练器的车型识别算法
CN107862319B (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
CN106529461A (zh) 一种基于积分特征通道和svm训练器的车型识别算法
CN111259756A (zh) 基于局部高频次特征和混合度量学习的行人重识别方法
CN108898132A (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
CN104715251A (zh) 一种基于直方图线性拟合的显著目标检测方法
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置
CN108257153A (zh) 一种基于方向梯度统计特征的目标跟踪方法
CN107301421A (zh) 车辆颜色的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant