CN109685078B - 基于自动标注的红外图像识别方法 - Google Patents

Abstract

本发明公开了一种基于自动标注的红外图像识别方法，主要针对现有方法在有标签红外图像数据很少时红外图像识别正确率较低和图像标签获取困难的问题，包括如下步骤：图像采集与成像设备校准；源域图像处理，建立源域图像目标检测模型，得到源域有标签数据；图像特征提取，得到映射关系；自动标注，得到目标域有标签图像；目标检测模型建立。本发明方法可利用已有其他资源建立目标域目标检测模型，可有效提高红外图像目标识别正确率，具有无需重新搜集数据的优点，可用于红外图像的目标识别。

Description

基于自动标注的红外图像识别方法

技术领域

本申请涉及深度学习领域，图像处理技术领域，具体涉及一种基于自动标注的红外图像目标识别方法，可用于红外图像的目标识别。

背景技术

红外和可见光是常见的多模态图像。可见光图像信息包含探测目标色彩、纹理等丰富细节，但是其数据采集易受复杂气象和光线条件影响；而远红外热像主要由探测目标的表面温度和发射率决定，受外界环境条件干扰相对较小。二者的融合可用于目标识别、目标检测等领域。

大多数目标探测的可见光探测模型相对比较成熟。目前，已有大量基于特征提取和通道聚合的传统识别模型，大量的可见光目标数据集可供深度学习模型训练，而远红外热像的训练数据集相对较少。

大量的训练数据是提升深度学习模型的分类或预测准确性的必要因素。

基于传统的机器学习方法的目标识别，要求训练数据和测试数据独立同分布，因此存在如下困难：

1.当有标签的图像数据很少时，识别准确率低。

2.如果要提高识别正确率，图像及其标签的获取和收集不仅困难而且花费昂贵。

3.不能够利用其他可用资源来提高识别正确率。

发明内容

本发明的目的在于克服上述红外图像识别存在的困难，引入自动标注，

提出了一种基于自动标注的红外图像目标识别方法，解决现有方法对有标签红外图像数据很少时识别正确率较低和图像标签获取困难的问题。

为实现上述目的，本发明的基于自动标注的红外图像目标识别方法，包括如下步骤：

1.对可见光摄像头和红外摄像头进行图像采集与成像设备校准；

2.源域图像处理，建立源域图像目标检测模型，得到源域有标签数据；

3.图像特征提取，得到源域图像和目标域图像映射关系；

4.根据步骤2获得的源域有标签数据和步骤3获得的映射关系进行自动标注，得到目标域有标签图像；

5.进行目标域目标检测模型学习。

步骤1包括如下步骤：

1a)使用常用的相机针孔模型，得到不同相机成像与物理空间的投影参数关系；

1b)多次从不同角度拍摄黑白相间棋盘格，读取其格点坐标；

1c)利用网格大小不变性进行相机内、外参数和畸变系数标定；

1d)通过多参数非线性系统优化问题的Levenberg-Marquardt算法进行最大似然优化以获得最佳解。

1e)校正透镜畸变效应，得到目标原有的外形信息。

步骤2包括如下步骤：

2a)根据已有大量的源域图像目标数据集，选择合适的深度学习算法框架和网络模型；

2b)基于深度学习，根据源域图像目标数据集训练得到源域图像目标检测模型；

2c)在已得到源域图像目标检测模型中输入源域无标签图像，得到含标注数据的源域有标签图像。

步骤3包括如下步骤：

3a)将目标域图像加以剪裁缩放至源域图像大小，得到宽高相同的图像区域；

3b)对图像进行边缘提取，保存其中的角点信息，比较两图中的角点信息并一一匹配；

3c)利用相同物体特征点间距的比值不变性，计算出源域图像中与目标域图像相匹配的部分，作出源域图像中所有匹配点的外接矩形S，将S扩展后即可得到目标域图像中与源域图像相匹配的区域。

在场景频繁改变时进行动态匹配，在单一场景下可只进行一次匹配。

步骤4包括如下步骤：

4a)将步骤3得到的已匹配的目标域无标签图像，步骤2得到的源域有标签图像输入到自动标注网络；

4b)利用步骤3得到的映射关系对目标域无标签图像进行标注，得到目标域图像目标数据集。

步骤5包括如下步骤：

5a)根据步骤4得到的目标域目标数据集，选择合适的深度学习算法框架和网络模型；

5b)利用深度学习，根据目标域图像目标数据集训练得到目标域图像目标检测模型。

本发明与现有技术相比，具有以下优点：

(1)本发明的图像特征匹配算法，具有稳定，图像的局部特征，对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性；多量性，即使是很少几个物体也可以产生大量的特征；独特性好，信息量丰富，适用于海量特征库进行快速、准确的匹配；高速性；扩招性，可以很方便的与其他的特征向量进行联合；

(2)本发明引进自动标注，能够利用与测试集相关的其它数据指导分类数据的学习，无需重新搜集数据；

(3)本发明由于引进自动标注，利用可见光图像标注红外图像，增大有标签的图像数据集容量，训练得到的红外图像识别系统具有较高的正确识别率。

附图说明

图1是本发明的基于自动标注的红外图像识别方法总流程图。

图2是实施例提供的一种基于自动标注的红外图像目标识别方法具体示意图。

图3是实施例中成像设备校准原理图。

图4实施例中可见光和红外摄像头校准前后图象对比。

图5是实施例中SIFT算法对双摄像头图像进行场景匹配，左图为红外图像边缘检测结果；右图为可见光图像边缘检测结果。

图6是实施例中利用可见光识别模型和映射关系来自动标注远红外热像图。

具体实施方式

下面详细描述本申请的实施例，对本发明的技术方案做进一步的描述。

参照图1，本实施例提供的一种基于自动标注的红外图像目标识别方法，包括：

1.图像采集与成像设备校准；

2.源域图像处理，建立源域图像目标检测模型，得到源域有标签数据；

3.图像特征提取，得到源域图像和目标域图像映射关系；

4.自动标注，得到目标域有标签图像；

5.目标检测模型建立。

参照图2，本实施例提供的一种基于自动标注的红外图像目标识别方法，包括：

步骤1：利用可见光摄像头和红外摄像头采集可见光图像和红外图像，采用基于移动平面模板的相机标定法进行成像设备校准。

图3是实施例中成像设备校准原理图；

图4为实施例中可见光和红外摄像头校准前后图象对比。

首先，得到不同相机成像与物理空间的投影参数关系。假设图像平面上的二维点坐标表示为m＝[u,v]^T，物理空间三维点坐标表示为M＝[x,y,z]^T，使用上标“～”来表示其增广向量，即

使用常用的相机针孔模型，来给出三维空间点M和其相投影m的关系，有：

sm＝A[R T]M

其中：s是缩放因子标量；[R,T]叫做外参，是连接物理坐标系与相机坐标系系统的旋转和平移矩阵；

是相机内参矩阵，其中(u₀,v₀)是主点位置，α和β是图像在u轴和v轴的尺寸因子，γ描述两个坐标系轴的扭矩因子。

其次，校正透镜畸变效应，得到目标原有的外形信息。令(u,v)为理想无失真图像像素坐标，

是相应的实测的图像坐标，(x,y)是真实归一化的物理坐标系，假定仅考虑径向畸变，其光学中心和主点相同，有：

其中：k₁和k₂分别为一阶和二阶径向畸变系数。

通过多次从不同角度拍摄黑白相间棋盘格，读取其格点坐标，利用网格大小不变性进行相机内、外参数和畸变系数标定，通过多参数非线性系统优化问题的Levenberg-Marquardt算法进行最大似然优化以获得最佳解。

步骤2：源域图像处理，建立源域图像目标检测模型，得到源域有标签数据。

2a)根据已有大量的源域图像目标数据集，深度学习算法选择为Faster R-CNN，网络模型为VGG-16，本发明对此不做限定；

2b)利用深度学习，根据源域图像目标数据集训练得到源域图像目标检测模型；

2c)在已得到源域图像目标检测模型中输入源域无标签图像，得到含标注数据的源域有标签图像。

步骤3：图像特征提取，得到源域图像和目标域图像映射关系。

3a)将目标域图像加以剪裁缩放至源域图像大小，得到宽高相同的图像区域。

3b)基于SIFT(Scale-Invariant Feature Transform)特征匹配算法，对图像中目标的边缘、角点分别进行匹配。

首先，利用Sobel卷积算子对图像进行边缘提取，保存其中的角点信息，比较两图中的角点信息并一一匹配。在图中任取两对对应点，记为A₁,A′₁和A₂,A′₂，及其对应线段

和

在红外图像中寻找与图像四边距离最近的点，将距离记为L_k，记α_k为边界系数：

利用相同物体特征点间距的比值不变性，计算出源域图像中与目标域图像相匹配的部分，作出源域图像中所有匹配点的外接矩形S，并取

表示S的四条边需要向外扩展的距离，将S扩展后即可得到目标域图像中与源域图像相匹配的区域。

在场景频繁改变时进行动态匹配，在单一场景下可只进行一次匹配。

图5为实施例中SIFT算法对双摄像头图像进行场景匹配。左图为红外图像边缘检测结果；右图为可见光图像边缘检测结果。

步骤4：自动标注，得到目标域有标签图像。

4a)将步骤3得到的已匹配的目标域无标签图像，步骤2得到的源域有标签图像输入到自动标注网络；

3b)利用步骤3得到的映射关系对目标域无标签图像进行标注，得到目标域图像目标数据集。

步骤5：目标域目标检测模型学习。

5a)根据步骤4得到的目标域目标数据集，深度学习算法选择为Faster R-CNN，网络模型为VGG-16，本发明对此不做限定；

5b)利用深度学习，根据目标域图像目标数据集训练得到目标域图像目标检测模型。

图6是实施例中利用可见光识别模型和映射关系来自动标注远红外热像图。

本实施例中，可见光摄像头为晟悦120°广角摄像头，24位彩色CMOS芯片，分辨率为1920x1080；红外摄像头为FLIR Boson非制冷远红外热像机芯，镜头焦距4.3mm，水平视角50°，分辨率为320x256。

本实施例中，深度学习编程环境可以为Tensorflow GPU，本发明对此不做限定，利用深度学习编程环境对可见光图像数据进行训练，获得可见光深度学习模型。

该实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述实施例。

Claims (4)

1.一种基于自动标注的红外图像识别方法，包括如下步骤：

(1)对可见光摄像头和红外摄像头进行图像采集与成像设备校准；

(2)针对可见光摄像头获得的源域图像处理，建立源域图像目标检测模型，得到源域有标签数据：2a)根据已有大量的源域图像目标数据集，选择合适的深度学习算法框架和网络模型；2b)基于深度学习，根据源域图像目标数据集训练得到源域图像目标检测模型；2c)在已得到源域图像目标检测模型中输入源域无标签图像，得到含标注数据的源域有标签图像；

(3)图像特征匹配，获得源域图像和红外摄像头采集的目标域图像映射关系：3a)将目标域图像加以剪裁缩放至源域图像大小，得到宽高相同的图像区域；3b)对图像进行边缘提取，保存其中的角点信息，比较两图中的角点信息并一一匹配；3c)利用相同物体特征点间距的比值不变性，计算出源域图像中与目标域图像相匹配的部分，作出源域图像中所有匹配点的外接矩形S，将S扩展后即可得到目标域图像中与源域图像相匹配的区域；

(4)根据步骤(2)获得的源域有标签数据和步骤(3)获得的映射关系进行自动标注，得到目标域有标签图像；

(5)进行目标域目标检测模型学习。

2.根据权利要求1所述的方法，其特征在于，步骤(1)包括如下步骤：

1a)使用常用的相机针孔模型，得到不同相机成像与物理空间的投影参数关系；

1b)多次从不同角度拍摄黑白相间棋盘格，读取其格点坐标；

1c)利用网格大小不变性进行相机内、外参数和畸变系数标定；

1d)通过多参数非线性系统优化问题的Levenberg-Marquardt算法进行最大似然优化以获得最佳解；

1e)校正透镜畸变效应，得到目标原有的外形信息。

3.根据权利要求1所述的方法，其特征在于，步骤(4)包括如下步骤：

4a)将步骤(3)得到的已匹配的目标域无标签图像，步骤(2)得到的源域有标签图像输入到自动标注网络；

4b)利用步骤(3)得到的映射关系对目标域无标签图像进行标注，得到目标域图像目标数据集。

4.根据权利要求1所述的方法，其特征在于，所述步骤(5)包括如下步骤：

5a)根据步骤(4)得到的目标域目标数据集，选择合适的深度学习算法框架和网络模型；

5b)利用深度学习，根据目标域图像目标数据集训练得到目标域图像目标检测模型。

Images