CN109919007A - 一种生成红外图像标注信息的方法 - Google Patents

Abstract

本发明公开了一种生成红外图像标注信息的方法，包括如下步骤：a、采用两台具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视频拍摄，其中一台为可见光相机，另一台为红外相机；进行视场匹配标定，得到视场匹配标定参数；b、将两个视频文件的每一帧单独抽离出来，从而形成了两组视频帧序列，可见光视频帧序列中的每一帧图像，与红外视频帧序列中的每一帧图像有一一对应的关系；c、使用基于可见光的目标检测算法和已训练好的检测模型，对可见光视频帧执行目标检测程序；d、将参与标定的两个相机中，其中一个相机生成的图像中的一个物体在帧中的位置，配合标定参数代入计算，得到参与标定的另一个相机中，该物体的成像结果在照片中的位置。

Description

一种生成红外图像标注信息的方法

技术领域

本发明涉及图像标注技术领域，特别是一种生成红外图像标注信息的方法。

背景技术

在机器视觉，图像处理研究领域，有几个重要研究方向：目标检测、目标识 别以及目标跟踪。近年来，在这三个研究方向中，人们通过使用机器学习技术， 取得了许多巨大成果。

使用机器学习进行模型训练时，有一个重要环节，就是准备训练样本。此外， 在对一个已经训练好的模型进行性能评估时，也往往需要许多样本作为测试样 本。机器学习训练过程中，所需的训练样本和测试样本的数量往往是非常巨大的。 而这样的样本，往往是通过人工制作的方式产生的。例如，要制作一个用于目标 检测的样本，首先需要准备一张包含了待检测目标的图片，然后需要人工利用专 门的标记软件，在图片中框选出目标的位置，大小以及目标的名称。这个过程， 本身也是非常枯燥的。因此，往往在一个机器学习的模型训练的过程中，样本制 作就会耗费大量的人力和时间成本。

针对于可见光视频和图像，已经有许多训练好的目标检测以及目标跟踪模 型。其识别和跟踪效果，都能够达到比较满意的精度。对于基于红外成像得到的 红外图像，在进行目标检测，目标识别以及目标跟踪等方向的研究时，同样需要 大量的已标记样本，用于模型的训练以及测试。

目前，尚缺少针对红外成像得到的红外图像进行快速标注的方法，且进行目 标检测，目标识别以及目标跟踪等方向的研究时，机器学习的样本制作环节，往 往需要人工进行样本标定，再加上机器学习训练过程中所需的样本数量巨大，因 此样本制作环节会消耗很大的人力成本。基于红外视频的目标识别，目标检测以 及目标跟踪等研究领域，同样存在这样的问题。

通常，一个用于机器视觉领域的机器学习训练的标记样本数据，需要满足以 下的要求：

1、提供一张图片，图片中包含感兴趣的目标；

2、提供一系列向量数据，每个向量代表一个目标的标记信息；其中的目标 标记信息，需要包含：目标的名称或类型(例如车辆，狗，楼房等)，目标在图 片中的位置坐标(可以使用目标的图形中心点在图片中的坐标表示)，目标的像 素大小信息(长度和宽度)。

以上数据，需要专门的交互软件，通过标记员，操作交互软件，在图片上用 鼠标框出包含了目标的矩形框，同时为该目标输入相关类型信息。目前，业内有 很多这样的标记工具，例如：LabelMe,LabelImg,YoloMark,VoTT,ImgAnn等。但 是无论使用哪一种标记工具，这一过程效率极低，且工作枯燥，容易出错，成本 较高。

发明内容

为解决现有技术中存在的问题，本发明提供了一种生成红外图像标注信息 的方法，可以利用可见光已有的训练成果，快速自动生成针对红外图像的样本标 记信息，该方法大大地降低了样本标记信息的制作成本。

本发明采用的技术方案是：

一种生成红外图像标注信息的方法，包括如下步骤：

a、采用两台具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视频 拍摄，其中一台为可见光相机，另一台为红外相机；且可见光相机的视场，需要 不小于红外相机的视场；双光拍摄装置在拍摄视频时，可见光和红外相机同时工 作，因此可以得到信息同步的两个视频文件；在使用双光视频拍摄装置进行拍摄 时，先对两个相机进行视场匹配标定，得到一组视场匹配标定参数；

b、将两个视频文件的每一帧单独抽离出来，从而形成了两组视频帧序列， 即可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列中的每一帧图 像，与红外视频帧序列中的每一帧图像有按照录制顺序一一对应的关系；

c、使用现有的基于可见光的目标检测算法和已训练好的检测模型，对可见 光视频帧执行目标检测程序，从而得到一组检测结果；

d、通过该标定参数，将参与标定的两个相机中，其中一个相机生成的图像 中的一个物体在帧中的位置，配合标定参数代入计算，得到参与标定的另外一个 相机中，对该物体的成像结果在照片中的位置。

优选地，所述步骤d具体包括如下步骤：

d1、将步骤c中得到的检测结果，配合步骤a中得到的标定参数，配合计 算，可以得到可见光视频帧中检测到的目标，在对应红外视频帧中的位置信息， 即得到了针对于该红外视频帧的目标检测结果；

d2、对于在红外视频帧中不存在的标记信息，做删除处理，对于只有部分存 在的标记信息，则根据红外视频帧的视场，对标记框进行视场外部分切除处理。

优选地，还包括如下步骤：

通过将步骤d2得到的标记数据，经过格式转换，从而得到最终需要的红外 视频帧标记信息。

优选地，在步骤a中：

所采用的双光视频拍摄装置，可以有多重实现方案；对于景深较小的拍摄场 景，可以采用常见的平行光轴的双光设备；对于景深较大的场景，可以采用视场 相近的平行光轴或者同光轴的双光设备，从而可以使步骤d中的位置映射计算 误差较小。

优选地，在步骤b中：

在两个视频中每个视频帧的逐一匹配时，由于选取的视频录制设备不同，如 出现可见光视频的帧率与红外视频的帧率不一致的现象，则在可见光视频中，找 到一个拍摄时间最为接近的可见光视频帧，作为红外视频帧的对应帧。

优选地，在步骤c中：

涉及到的目标检测算法，可以有多种选择，目标检测算法能够输出目标类型， 位置和大小信息即可。

优选地，在步骤d中：

涉及到的视场匹配标定算法，可以有很多种实现和选择，视场匹配标定算法 能够找到两个相机成像结果中，像素与像素之间的映射关系即可。

本发明的有益效果是：

1、提供了一种生成红外图像标注信息的方法，通过利用目前在可见光图像 上目标识别，目标跟踪以及目标检测方面的已经比较成熟的技术，配合在图像采 集阶段上的特定方法，可以实现红外样本自动化的快速标记与生成，且大大的降 低了图像标记与样本制作的成本，大大降低了针对于红外视频标记工作的时间 成本和人力成本。

2、由于该标记方法自动化程度较高，也大大的提高了标记质量，降低了错 误率。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明实施例中第三步的检测结果示意图；

图3为本发明实施例中第四步的标定过程示意图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例

如图1所示，一种生成红外图像标注信息的方法，包括如下步骤：

第一步：采用具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视 频拍摄，而不是只用一台红外相机进行拍摄，其中可见光相机的视场，需要不小 于红外相机的视场，且尽量与红外相差不大；双光拍摄装置在拍摄视频时，可见 光和红外相机同时工作，因此可以得到信息同步的两个视频文件；

第二步：拿到两个视频文件后，将视频文件的每一帧单独抽离出来，从而形 成了两组视频帧序列：可见光视频帧序列和红外视频帧序列；这里，可见光视频 帧序列中的每一帧图像，与红外视频帧序列中的每一帧图像有按照录制顺序一 一对应的关系；

第三步：使用现有的基于可见光的目标检测算法和已训练好的检测模型，对 可见光视频帧执行目标检测程序，从而得到一组检测结果；例如图2的可见光 帧，检测出了三个目标，从而我们得到了针对于该帧的检测结果；其中，目标检 测算法可以是模板检测算法，或者用神经网络、特征点等；

第四步：在使用双光视频拍摄装置进行拍摄时，先对两个相机进行视场匹配 标定，得到一组视场匹配标定参数；如图3所示，通过该标定参数，可以用来将 参与标定的两个相机中，其中一个相机生成的图像中的一个物体在帧中的位置， 配合标定参数代入计算，得到参与标定的另外一个相机中，对该物体的成像结果 在照片中的位置；

第五步：将第三步中得到的检测结果，配合第四步中得到的标定参数，配合 计算，可以得到可见光视频帧中检测到的目标，在对应红外视频帧中的位置信息， 即得到了针对于该红外视频帧的目标检测结果；在这个过程中，由于可见光相机 的视场可能要比红外光视场要大，所以可能会产生某些目标在红外视频帧中不 存在，或者只有部分存在；对于在红外视频帧中不存在的标记信息，做删除处理， 对于只有部分存在的标记信息，则根据红外视频帧的视场，对标记框进行视场外 部分切除处理；

第六步：由于不同的训练模型，要求的标记数据输入格式可能不同，因此， 通过将第五步得到的标记数据，经过格式转换，从而得到最终需要的红外视频帧 标记信息。

在其中一个实施例中，具体地：第一步中所采用的双光视频拍摄装置，可以 有多重实现方案。对于景深较小的拍摄场景，可以采用常见的平行光轴的双光设 备；对于景深较大的场景，可以采用视场相近的平行光轴或者同光轴的双光设备， 从而可以使上述第五步中的位置映射计算误差较小。

在另外一个实施例中，具体地：第二步中，在进行两个视频中每个视频帧的 逐一匹配时，由于选取的视频录制设备不同，可能会出现可见光视频的帧率与红 外视频的帧率不一致的现象；根据目前的实际情况，由于本身红外成像探测器的 成像积分时间要大于可见光成像探测器的积分时间，所以往往都能很容易找到 与红外相机相比，帧率更高的可见光相机，因此，可以只考虑可见光视频帧率大 于等于红外视频帧率的情况；在此情况下，在为每一个红外视频帧寻找对应的可 见光视频帧时，基于两视频是同步拍摄的事实作为前提，总可以为每个红外视频 帧，在可见光视频中，找到一个拍摄时间最为接近的可见光视频帧，作为红外视 频帧的对应帧。

在另外一个实施例中，具体地：第三步中，涉及到的目标检测算法，可以有 多种选择，当前流行的SSD，Yolo等算法，只要是能够输出目标类型，位置和大 小信息的检测算法，都可以使用。

在另外一个实施例中，具体地：第四步中涉及到的视场匹配标定算法，可以 有很多种实现和选择，只要能够找到两个相机成像结果中，像素与像素之间的映 射关系即可。例如，可以通过分别在两张图片中选择一组对应特征点，进而利用 仿射变换，来得到两个图片像素之间的线性映射。对于畸变较大的相机，还可以 在做线性映射之前，先对相机进行标定，来校正相机的畸变，从而提升第五步中 涉及运算的运算精度。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细， 但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进， 这些都属于本发明的保护范围。

Claims (7)

1.一种生成红外图像标注信息的方法，其特征在于，包括如下步骤：

a、采用两台具有相近视场的同光轴或者平行光轴的视频拍摄装置进行视频拍摄，其中一台为可见光相机，另一台为红外相机；且可见光相机的视场，需要不小于红外相机的视场；双光拍摄装置在拍摄视频时，可见光和红外相机同时工作，因此可以得到信息同步的两个视频文件；在使用双光视频拍摄装置进行拍摄时，先对两个相机进行视场匹配标定，得到一组视场匹配标定参数；

b、将两个视频文件的每一帧单独抽离出来，从而形成了两组视频帧序列，即可见光视频帧序列和红外视频帧序列；其中，可见光视频帧序列中的每一帧图像，与红外视频帧序列中的每一帧图像有按照录制顺序一一对应的关系；

c、使用现有的基于可见光的目标检测算法和已训练好的检测模型，对可见光视频帧执行目标检测程序，从而得到一组检测结果；

d、通过该标定参数，将参与标定的两个相机中，其中一个相机生成的图像中的一个物体在帧中的位置，配合标定参数代入计算，得到参与标定的另外一个相机中，对该物体的成像结果在照片中的位置。

2.根据权利要求1所述的生成红外图像标注信息的方法，其特征在于，所述步骤d具体包括如下步骤：

d1、将步骤c中得到的检测结果，配合步骤a中得到的标定参数，配合计算，可以得到可见光视频帧中检测到的目标，在对应红外视频帧中的位置信息，即得到了针对于该红外视频帧的目标检测结果；

d2、对于在红外视频帧中不存在的标记信息，做删除处理，对于只有部分存在的标记信息，则根据红外视频帧的视场，对标记框进行视场外部分切除处理。

3.根据权利要求3所述的生成红外图像标注信息的方法，其特征在于，还包括如下步骤：

通过将步骤d2得到的标记数据，经过格式转换，从而得到最终需要的红外视频帧标记信息。

4.根据权利要求2所述的生成红外图像标注信息的方法，其特征在于，在步骤a中：

所采用的双光视频拍摄装置，可以有多重实现方案；对于景深较小的拍摄场景，可以采用常见的平行光轴的双光设备；对于景深较大的场景，可以采用视场相近的平行光轴或者同光轴的双光设备，从而可以使步骤d中的位置映射计算误差较小。

5.根据权利要求1所述的生成红外图像标注信息的方法，其特征在于，在步骤b中：

在两个视频中每个视频帧的逐一匹配时，由于选取的视频录制设备不同，如出现可见光视频的帧率与红外视频的帧率不一致的现象，则在可见光视频中，找到一个拍摄时间最为接近的可见光视频帧，作为红外视频帧的对应帧。

6.根据权利要求1所述的生成红外图像标注信息的方法，其特征在于，在步骤c中：

涉及到的目标检测算法，可以有多种选择，目标检测算法能够输出目标类型，位置和大小信息即可。

7.根据权利要求2所述的生成红外图像标注信息的方法，其特征在于，在步骤d中：

涉及到的视场匹配标定算法，可以有很多种实现和选择，视场匹配标定算法能够找到两个相机成像结果中，像素与像素之间的映射关系即可。