CN114937233A - 一种基于多光谱数据深度学习的识别方法和识别装置 - Google Patents

Abstract

本发明涉及多光谱识别技术领域，特别是涉及一种基于多光谱数据深度学习的识别方法、装置、设备及存储介质。一种基于多光谱数据深度学习的识别方法包括：采集具有目标物的红外光图像、可见光图像和激光图像中的至少两个图像，标注目标物的位置信息，将标注位置信息的图像按照预定顺序构建为图像矩阵，搭建多通道训练网络，将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在。本发明提供一种基于多光谱数据深度学习的识别方法中图像矩阵中至少一个通道识别出目标物，判定目标物存在，这样直接输出判定结果的方式减少识别过程的复杂度提高识别率减少了误检率和漏检率。

Description

一种基于多光谱数据深度学习的识别方法和识别装置

技术领域

本发明涉及多光谱识别技术领域，特别是涉及一种基于多光谱数据深度学习的识别方法、识别装置、电子设备和计算机可读存储介质。

背景技术

近年来，人工智能和计算机视觉的发展使得基于图像/视频的目标检测与识别方法的性能有了较大的提升，使其成为研究此类问题的新手段。相比于基于雷达、射频等方法，基于机器视觉的方法具备系统简单、硬件体积小、场景普适性强、探测距离远、识别粒度细等优点。这些特点也使得基于图像/视频的识别方法被应用在多种现实场景中，如地铁安检测温及人流量统计、车辆自动驾驶、无人机巡检、商品货架分拣等。这些现实需求也相应地对识别方法和框架提出了诸如实时性、全天候、高精度等新的要求。特别是对一些小型目标，他们在图像传感器中占据的像素较少，信噪比较低，难以被探测和识别。

对于图像/视频(图像序列)输入的目标识别问题，常用的解决方案是在可见光谱段采用深度神经网络直接进行识别。这些方法对于在清晰视野下，细节分辨率较高、背景区分度较大的目标有较高的精度，但对于夜晚、复杂背景、小目标难以适用。所以，有些方法将除可见光图像特征外的其他特征加入至识别过程，包括运动特征、视频帧间联系、红外特征、不变矩特征等，得到基于多特征融合的识别结果。但这些方法也是仅满足一类或少数几类识别场景，并且判断逻辑单一，识别精度较低，难以处理环境变化、复杂背景、以及多实例等问题，对于多数常见识别场景都不能提供高精度的识别结果。

发明内容

本发明提供一种基于多光谱数据深度学习的识别方法，包括：采集具有目标物的红外光图像、可见光图像和激光图像中的至少两个图像，标注目标物的位置信息，将标注位置信息的图像按照预定顺序构建为图像矩阵，搭建多通道训练网络，将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在。

进一步地，还包括：识别模型，在使用时，采集多光谱图像，将多光谱图像构建为具有预定顺序的特定图像矩阵，使用判断模型对特定图像矩阵进行识别。

进一步地，采集的图像图像重合。

进一步地，采集的图像是对同一目标物在同一时刻进行拍摄。

进一步地，采集图像的设备的分辨率相同。

进一步地，将图像的中心对齐，将中心对齐的图像的旋转角度调整一致，将图像重合。

进一步地，对图像进行标注，当图像上的目标物能够被肉眼识别时，对目标物标注。

进一步地，激光图像通过能够将三维图像投影至二维图像的软件将激光图像上的点投影在nxm的二维矩阵上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到nxmx3的二维矩阵。

进一步地，搭建多通道训练网络包括：采用卷积神经网络算法进行搭建，根据预输入图像对应的通道数设定通道的个数，以预输入图像的整体通道作为输入，利用卷积核对预输入图像提取特征，整体通道通过卷积、池化、激活、全链接进行建模分类，预输入图像中具有特定目标物，预输入图像对应的通道数中的至少一个通道识别出特定目标物，判定特定目标物存在。

进一步地，将图像矩阵输入至多通道训练网络中进行模型训练，对图像对应的通道数同时建模，图像对应的通道数中的至少一个通道识别出目标物，判定目标物存在。

本发明还提供一种基于多光谱数据深度学习的识别装置，包括：采集图像模块，采集具有目标物的红外光图像、可见光图像和激光图像中的至少两个图像，标注图像模块，标注目标物的位置信息，构建矩阵模块，将标注位置信息的图像按照预定顺序构建为图像矩阵，搭建网络模块，搭建多通道训练网络，训练模型模块，将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在。

进一步地，还包括：识别模型模块，在使用时，采集多光谱图像，将多光谱图像构建为具有预定顺序的特定图像矩阵，使用判断模型对特定图像矩阵进行识别。

进一步地，红外光传感器、可见光传感器、激光传感器和紫外传感器的至少两个，采集的图像图像重合。

进一步地，采集的图像是对同一目标物在同一时刻进行拍摄。

进一步地，采集图像模块中的设备的分辨率相同。

进一步地，将图像的中心对齐，将中心对齐的图像的旋转角度调整一致，将图像重合。

进一步地，对图像进行标注，当图像上的目标物能够被肉眼识别时，对目标物标注。

进一步地，激光图像通过能够将三维图像投影至二维图像的软件将激光图像上的点投影在nxm的二维矩阵上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到nxmx3的二维矩阵。

进一步地，对采集具有目标物的图像进行标注，当图像上的目标物能够被肉眼识别时，即对图像进行标注。

进一步地，搭建多通道训练网络包括：采用卷积神经网络算法进行搭建，根据预输入图像对应的通道数设定通道的个数，以预输入图像的整体通道作为输入，利用卷积核对预输入图像提取特征，整体通道通过卷积、池化、激活、全链接进行建模分类，预输入图像中具有特定目标物，预输入图像对应的通道数中的至少一个通道识别出特定目标物，判定特定目标物存在。

进一步地，将图像矩阵输入至多通道训练网络中进行模型训练，对图像对应的通道数同时建模，图像对应的通道数中的至少一个通道识别出目标物，判定目标物存在。

本发明提供一种电子设备，包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当程序被执行时，处理器用于执行如上述的基于多光谱数据深度学习的识别方法。

本发明提供一种计算机可读存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行如上述的基于多光谱数据深度学习的识别方法。

本公开实施例提供的技术方案可以包括以下有益效果：

使用红外光图像、可见光图像和激光图像中的至少两个图像叠合的整体图像输入算法中进行识别，其中任何单一图像中拍摄到缺失的特征都会与其他图像中的特征相关联，进而作为目标物的整体特征在算法进行判断，叠合的整体图像中至少一个通道识别出目标物，判定目标物存在，这样直接输出判定结果的方式减少识别过程的复杂度提高识别率减少了误检率和漏检率。

附图说明

图1为本发明实施例一获取红外光图像、可见光图像和激光图像的识别流程图。

图2为本发明实施例一获取红外光图像、可见光图像和激光图像的识别装置的框图。

图3为本发明实施例二获取红外光图像和可见光图像的识别流程图。

图4为本发明实施例二获取红外光图像和可见光图像的识别装置的框图。

图5为本发明实施例三获取可见光图像和激光图像的识别流程图。

图6为本发明实施例三获取可见光图像和激光图像的识别装置的框图。

图7为本发明实施例四获取红外光图像和激光图像的识别流程图。

图8为本发明实施例四获取红外光图像和激光图像的识别装置的框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明提供一种基于多光谱数据深度学习的识别方法，包括以下步骤：采集具有目标物的红外光图像、可见光图像和激光图像中的至少两个图像；标注目标物的位置信息；将标注位置信息的图像按照预定顺序构建为图像矩阵；搭建多通道训练网络；将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在；识别模型，在使用时，采集多光谱图像，将多光谱图像构建为具有预定顺序的特定图像矩阵，使用判断模型对特定图像矩阵进行识别。

在本实施例中，上述识别方法能够快速且准确地识别图像中的目标物，从而为操作者提供准确的位置信息，能够辅助车辆自动驾驶，不仅提升了识别准确率，还提升了安全性及可靠性，具有较强的鲁棒性，而且降低了对硬件计算性能的要求，从而有效地降低了成本。

实施例一

以采集红外光图像、可见光图像和激光图像作为一实施例，具体地，如图1所示，上述识别方法包括以下步骤：

步骤S101，采集图像。

使用分辨率相同的设备采集足够多的同一目标在同一时刻拍摄的红外光图像、可见光图像和激光图像，在本实施例中拍摄的目标物为汽车。再将拍摄完成的红外光图像、可见光图像和激光图像的中心对齐和旋转角度调整一致，得到重合的红外光图像、可见光图像和激光图像，或者提前将采集设备的镜头调试好，使得拍摄的红外光图像、可见光图像和激光图像的中心能够对齐、旋转角度能够一致。

所采集的红外光图像是单通道的灰度矩阵，每个像素点有一个维度信息；所采集的可见光图像是三通道图像矩阵，每个像素点带有三个维度信息rgb；所采集的激光图像是点云数据，带有多个维度信息，包括每个像素点xyz的三维空间坐标信息。

步骤S102，标注图像。

使用标注工具软件，例如labelImg软件对红外光图像、可见光图像和激光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出汽车，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含汽车在图像上的位置信息，因为红外光图像、可见光图像和激光图像在空间上是叠合的，所以汽车在红外光图像、可见光图像和激光图像上的位置是一致的，也就是说，标注红外光图像、可见光图像和激光图像的任何一个，相当于这个汽车就被标注。

其中，激光图像是一个三维数据，设定采集设备的分辨率是nxm，激光图像可以通过OpenCV库中的projectPoints方法把激光图像的每个点都投影在nxm的矩阵平面上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵，labelImg软件对激光图像的nxmx3的二维矩阵进行标注。

步骤S103，构建矩阵。

点云数据是一个三维数据，设定采集设备的分辨率是nxm，点云数据可以通过OpenCV库中的projectPoints方法把每个点都投影在nxm的矩阵平面上，再通过遍历将点云数据的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵。

在计算机上构建一个新图像矩阵，将采集的红外光图像、可见光图像和激光图像中的每个通道按预定顺序添入新图像矩阵中。红外图像是一通道 nxmx1的矩阵，可见光图像是三通道 nxmx3的矩阵，激光图像是三通道的nxmx3矩阵，构建的新图像矩阵是七通道nxmx7的矩阵。

步骤S104，搭建网络。

采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为七，包括了红外温度通道、可见光r gb三通道和激光位置x y z三通道，图像进入网络时以一个七通道的整体作为输入，利用卷积核对图像提取特征，七个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定的汽车，预输入图像对应的通道数中的至少一个通道识别出特定的汽车，判定特定的汽车存在。

步骤S105，训练模型。

输入nxmx7的图像矩阵至搭建好的网络中，对七个通道同时建模，经多次训练后得到模型。

步骤S106，识别目标。

在使用时，同样采集时空同步的红外光图像、可见光图像和激光图像，生成具有与步骤S103中构建矩阵设定相同的预定顺序的多通道融合的nxmx7图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx7图像矩阵进行识别，根据模型的输出得到汽车是否存在。

与方法实施例相对应，本申请实施例还提供基于多光谱数据深度学习的识别装置。本申请实施例提供的基于多光谱数据深度学习的识别装置的框图，如图2所示，包括：采集图像模块10、标注图像模块11、构建矩阵模块12、搭建网络模块13、训练模型模块14和识别目标模块15。

采集图像模块10采集具有目标物的红外光图像、可见光图像和激光图像。标注图像模块11标注目标物的位置信息。构建矩阵模块12将标注位置信息的图像按照预定顺序构建为图像矩阵。搭建网络模块13搭建多通道训练网络。训练模型模块14将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在。识别目标模块15在使用时采集多光谱图像，将多光谱图像构建为具有预定顺序的特定图像矩阵，使用判断模型对特定图像矩阵进行识别。

在本实施例中，上述识别方法能够快速且准确地识别图像中的汽车，从而为操作者提供准确的位置信息，能够辅助车辆自动驾驶，不仅提升了识别准确率，还提升了安全性及可靠性，具有较强的鲁棒性，而且降低了对硬件计算性能的要求，从而有效地降低了成本。

在采集图像模块10中使用分辨率相同的红外光传感器、可见光传感器和激光传感器采集足够多的同一目标在同一时刻拍摄的红外光图像、可见光图像和激光图像，其中，以分光方式对红外光传感器、可见光传感器、激光传感器进行同光轴处理。分辨率相同的红外光传感器、可见光传感器和激光传感器采集的红外光图像、可见光图像和激光图像在各自的像素点上一一对应。由于红外光传感器、可见光传感器、激光传感器进行同光轴处理，所以拍摄完成的红外光图像、可见光图像和激光图像的中心对齐，再将红外光图像、可见光图像和激光图像的旋转角度调整一致，得到完全重合的红外光图像、可见光图像和激光图像。在本实施例中拍摄的目标物为汽车。

在本实施例中采集的红外光图像是单通道的灰度矩阵，每个像素点有一个维度信息；所采集的可见光图像是三通道图像矩阵，每个像素点带有三个维度信息rgb；所采集的激光图像是点云数据，带有多个维度信息，包括每个像素点xyz的三维空间坐标信息。

标注图像模块11中使用标注工具软件，例如labelImg软件对红外光图像、可见光图像和激光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出汽车，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含汽车在图像上的位置信息，因为红外光图像、可见光图像和激光图像在空间上是叠合的，所以汽车在红外光图像、可见光图像和激光图像上的位置是一致的，也就是说，标注红外光图像、可见光图像和激光图像的任何一个，相当于这个汽车就被标注。

其中，激光图像是一个三维数据，设定采集设备的分辨率是nxm，激光图像可以通过OpenCV库中的projectPoints方法把激光图像的每个点都投影在nxm的矩阵平面上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵，labelImg软件对激光图像的nxmx3的二维矩阵进行标注。

构建矩阵模块12中点云数据是一个三维数据，设定采集设备的分辨率是nxm，点云数据可以通过OpenCV库中的projectPoints方法把每个点都投影在nxm的矩阵平面上，再通过遍历将点云数据的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵。

在计算机上构建一个新图像矩阵，将采集的外光图像、可见光图像和激光图像中的每个通道按预定顺序添入新图像矩阵中。红外图像是一通道 nxmx1的矩阵，可见光图像是三通道 nxmx3的矩阵，激光图像是三通道的nxmx3矩阵，构建的新图像矩阵是七通道nxmx7的矩阵。

搭建网络模块13中采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为七，包括了红外温度通道、可见光r g b三通道和激光位置x y z三通道，图像进入网络时以一个七通道的整体作为输入，利用卷积核对图像提取特征，七个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定的汽车，预输入图像对应的通道数中的至少一个通道识别出特定的汽车，判定特定的汽车存在。

训练模型模块14中输入nxmx7的图像矩阵至搭建好的网络中，对七个通道同时建模，经多次训练后得到模型。

识别目标模块15在使用时，同样采集时空同步的红外光图像、可见光图像和激光图像，生成具有与构建矩阵模块12设定相同的预定顺序的多通道融合的nxmx7图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx7图像矩阵进行识别，根据模型的输出得到汽车是否存在。

现有技术中的识别设备使用深度学习算法识别汽车的不同光谱图像。红外光谱不能识别出车窗玻璃，进而缺失窗户特征的轮廓，使得深度学习算法在识别后会给出否定的结果。激光得到的点云，不能完整识别车体边缘，识别后会给出否定的结果。可见光能够完整的识别汽车，因此能够给出肯定的识别结果。上述判断结果完成后，会出现识别矛盾的结果，进而还需要用其他算法进行再次判断，不仅增加了识别过程的复杂度，还增加了识别结果的误检率和漏检率。

使用红外光图像、可见光图像、激光图像三光谱叠合的整体图像输入算法中进行识别，其中红外光图像中缺失的窗户和激光图像中不够完整的边缘都会与可见光图像中的特征相关联，作为车辆的整体特征进行判断，在算法中是以整体特征做为判断依据，直接输出判定结果，减少识别过程的复杂度提高识别率，减少了误检率和漏检率。

实施例二

以采集红外光图像和可见光图像作为一实施例，具体地，如图3所示，上述识别方法包括以下步骤：

步骤S201，采集图像。

使用分辨率相同的设备采集足够多的同一目标在同一时刻拍摄的红外光图像和可见光图像，在本实施例中拍摄的目标物为人。再将红外光图像和可见光图像的中心对齐和旋转角度调整一致，得到重合的红外光图像和可见光图像，或者提前将采集设备的镜头调试好，使得拍摄的红外光图像、可见光图像的中心能够对齐、旋转角度能够一致。

在本实施例中所采集的红外光图像是单通道的灰度矩阵，每个像素点有一个维度信息；所采集的可见光图像是三通道图像矩阵，每个像素点带有三个维度信息rgb。

步骤S202，标注图像。

使用标注工具软件，例如labelImg软件对红外光图像和可见光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出人，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含人在图像上的位置信息，因为红外光图像和可见光图像在空间上是叠合的，所以人在红外光图像和可见光图像上的位置是一致的，也就是说，标注红外光图像、可见光图像的任何一个，相当于这个人就被标注。

步骤S203，构建矩阵。

在计算机上构建一个新图像矩阵，将采集的红外光图像和可见光图像中的每个通道按预定顺序添入新图像矩阵中。红外图像是一通道 nxmx1的矩阵，可见光图像是三通道nxmx3的矩阵，构建的新图像矩阵是四通道nxmx4的矩阵。

步骤S204，搭建网络。

采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为四，包括了红外温度通道和可见光rg b三通道，图像进入网络时以一个四通道的整体作为输入，利用卷积核对图像提取特征，四个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定人，预输入图像对应的通道数中的至少一个通道识别出特定人，判定特定人存在。

步骤S205，训练模型。

输入nxmx4的图像矩阵至搭建好的网络中，对四个通道同时建模，经多次训练后得到模型。

步骤S206，识别目标。

在使用时，同样采集时空同步的红外光图像和可见光图像，生成具有与步骤S203中构建矩阵设定相同的预定顺序的多通道融合的nxmx4图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx4图像矩阵进行识别，根据模型的输出得到人是否存在。

与方法实施例相对应，本申请实施例还提供基于多光谱数据深度学习的识别装置。本申请实施例提供的基于多光谱数据深度学习的识别装置的框图，如图4所示，包括：采集图像模块20、标注图像模块21、构建矩阵模块22、搭建网络模块23、训练模型模块24和识别目标模块25。

采集图像模块20采集具有目标物的红外光图像和可见光图像。标注图像模块21标注目标物的位置信息。构建矩阵模块22将标注位置信息的图像按照预定顺序构建为图像矩阵。搭建网络模块23搭建多通道训练网络。训练模型模块24将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在。识别目标模块25在使用时采集多光谱图像，将多光谱图像构建为具有预定顺序的特定图像矩阵，使用判断模型对特定图像矩阵进行识别。

在本实施例中，上述识别方法能够快速且准确地识别图像中的人，从而为识别者提供准确的位置信息，能够辅助识别者快速准确地进行识别，不仅提升了识别准确率，还提升了可靠性，具有较强的鲁棒性，而且降低了对硬件计算性能的要求，从而有效地降低了成本。

在采集图像模块20中使用分辨率相同的红外光传感器和可见光传感器采集足够多的同一目标在同一时刻拍摄的红外光图像和可见光图像，其中，以分光方式对红外光传感器、可见光传感器进行同光轴处理。分辨率相同的红外光传感器、可见光传感器采集的红外光图像、可见光图像在各自的像素点上一一对应。由于红外光传感器、可见光传感器进行同光轴处理，所以拍摄完成的红外光图像、可见光图像的中心对齐，再将红外光图像、可见光图像的旋转角度调整一致，得到完全重合的红外光图像和可见光图像。在本实施例中拍摄的目标物为人。

在本实施例中所采集的红外光图像是单通道的灰度矩阵，每个像素点有一个维度信息；所采集的可见光图像是三通道图像矩阵，每个像素点带有三个维度信息rgb。

标注图像模块21中使用标注工具软件，例如labelImg软件对红外光图像和可见光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出人，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含人在图像上的位置信息，因为红外光图像和可见光图像在空间上是叠合的，所以人在红外光图像和可见光图像上的位置是一致的，也就是说，标注红外光图像、可见光图像的任何一个，相当于这个人就被标注。

构建矩阵模块22中在计算机上构建一个新图像矩阵，将采集的红外光图像和可见光图像中的每个通道按预定顺序添入新图像矩阵中。红外图像是一通道 nxmx1的矩阵，可见光图像是三通道 nxmx3的矩阵，构建的新图像矩阵是四通道nxmx4的矩阵。

搭建网络模块23中采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为四，包括了红外温度通道和可见光r g b三通道，图像进入网络时以一个四通道的整体作为输入，利用卷积核对图像提取特征，四个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定人，预输入图像对应的通道数中的至少一个通道识别出特定人，判定特定人存在。

训练模型模块24中输入nxmx4的图像矩阵至搭建好的网络中，对四个通道同时建模，经多次训练后得到模型。

识别目标模块25在使用时，同样采集时空同步的红外光图像和可见光图像，生成具有与构建矩阵模块22设定相同的预定顺序的多通道融合的nxmx4图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx4图像矩阵进行识别，根据模型的输出得到人是否存在。

从现有技术中单光谱识别的角度看，在光线条件较差如夜间、雾天情况下，单独用可见光光谱对人进行识别，识别的距离和识别率较低，此种情况下可见光图像上人作为目标毫无特征可以提取。人与背景环境的温度不同，在红外光谱的拍摄下会产生明显区别，红外光图像可以在上述情况下提取到人作为目标的特征。

从现有技术中深度学习识别的角度看，如果单独对可见光图像进行识别，输出否定的判定结果，如果单独用红外光图像进行识别，输出肯定的判定结果。最后造成识别结果矛盾，还需要用其他算法再对两个结果进行判断，增加了识别过程的复杂度，还增加了识别结果的误检率和漏检率。

从本技术方案多光谱识别的角度看，使用红外光图像、可见光图像叠合的整体图像输入算法中进行识别，夜间和雾天时，可见光图像中人的不清晰特征和红外光图像中清晰的温度特征相关联，进而作为人的整体特征输入在算法中作为整体特征进行判断，直接输出判定结果，减少识别过程的复杂度，减少了误检率和漏检率。

实施例三

以采集可见光图像和激光图像作为一实施例，具体地，如图5所示，上述识别方法包括以下步骤：

步骤S301，采集图像。

使用分辨率相同的设备采集足够多的同一目标在同一时刻拍摄的可见光图像和激光图像，在本实施例中拍摄的目标物为墙面。再将可见光图像和激光图像的中心对齐和旋转角度调整一致，得到重合的可见光图像和激光图像，或者提前将采集设备的镜头调试好，使得拍摄的可见光图像和激光图像的中心能够对齐、旋转角度能够一致。

在本实施例中所采集的可见光图像是三通道图像矩阵，每个像素点带有三个维度信息rgb；所采集的激光图像获得的是点云数据，带有多个维度信息，包括每个像素点xyz的三维空间坐标信息。

步骤S302，标注图像。

使用标注工具软件，例如labelImg软件对可见光图像和激光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出墙面，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含墙面在图像上的位置信息，因为可见光图像和激光图像在空间上是叠合的，所以墙面在可见光图像和激光图像上的位置是一致的，也就是说，标注可见光图像和激光图像的任何一个，相当于这个目标物就被标注。

其中，激光图像是一个三维数据，设定采集设备的分辨率是nxm，激光图像可以通过OpenCV库中的projectPoints方法把激光图像的每个点都投影在nxm的矩阵平面上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵，labelImg软件对激光图像的nxmx3的二维矩阵进行标注。

步骤S303，构建矩阵。

点云数据是一个三维数据，设定采集设备的分辨率是nxm，点云数据可以通过OpenCV库中的projectPoints方法把每个点都投影在nxm的矩阵平面上，再通过遍历将点云数据的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵。

在计算机上构建一个新图像矩阵，将采集的可见光图像和激光图像中的每个通道按预定顺序添入新图像矩阵中。可见光图像是三通道 nxmx3的矩阵，激光图像是三通道的nxmx3矩阵，构建的新图像矩阵是六通道nxmx6的矩阵。

步骤S304，搭建网络。

采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为六，包括了可见光r g b三通道和激光位置x y z三通道，图像进入网络时以一个六通道的整体作为输入，利用卷积核对图像提取特征，六个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定墙面，预输入图像对应的通道数中的至少一个通道识别出特定墙面，判定特定墙面存在。

步骤S305，训练模型。

输入nxmx6的图像矩阵至搭建好的网络中，对六个通道同时建模，经多次训练后得到模型。

步骤S306，识别目标。

在使用时，同样采集时空同步的可见光图像和激光图像，生成具有与步骤S303中构建矩阵设定相同的预定顺序的多通道融合的nxmx6图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx6图像矩阵进行识别，根据模型的输出得到墙面是否存在。

与方法实施例相对应，本申请实施例还提供基于多光谱数据深度学习的识别装置。本申请实施例提供的基于多光谱数据深度学习的识别装置的框图，如图6所示，包括：采集图像模块30、标注图像模块31、构建矩阵模块32、搭建网络模块33、训练模型模块34和识别目标模块35。

采集图像模块30采集具有目标物的可见光图像和激光图像。标注图像模块标注目标物的位置信息。构建矩阵模块将标注位置信息的图像按照预定顺序构建为图像矩阵。搭建网络模块搭建多通道训练网络。训练模型模块将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在。识别模型模块在使用时采集多光谱图像，将多光谱图像构建为具有预定顺序的特定图像矩阵，使用判断模型对特定图像矩阵进行识别。

在本实施例中，上述识别方法能够快速且准确地识别图像中的墙面，从而为操作者提供准确的位置信息，能够辅助识别者快速判断，不仅提升了识别准确率，还提升了可靠性，具有较强的鲁棒性，而且降低了对硬件计算性能的要求，从而有效地降低了成本。

在采集图像模块30中使用分辨率相同的可见光传感器和激光传感器采集足够多的同一目标在同一时刻拍摄的可见光图像和激光图像，其中，以分光方式对可见光传感器、激光传感器进行同光轴处理。分辨率相同的可见光传感器和激光传感器采集的可见光图像和激光图像在各自的像素点上一一对应。由于可见光传感器、激光传感器进行同光轴处理，所以拍摄完成的可见光图像和激光图像的中心对齐，再将可见光图像和激光图像的旋转角度调整一致，得到完全重合的可见光图像和激光图像。在本实施例中拍摄的目标物为墙面。

在本实施例中所采集的可见光图像是三通道图像矩阵，每个像素点带有三个维度信息rgb；所采集的激光图像获得的是点云数据，带有多个维度信息，包括每个像素点xyz的三维空间坐标信息。

标注图像模块31中使用标注工具软件，例如labelImg软件对可见光图像和激光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出墙面，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含墙面在图像上的位置信息，因为可见光图像和激光图像在空间上是叠合的，所以墙面在可见光图像和激光图像上的位置是一致的，也就是说，标注可见光图像和激光图像的任何一个，相当于这个目标物就被标注。

其中，激光图像是一个三维数据，设定采集设备的分辨率是nxm，激光图像可以通过OpenCV库中的projectPoints方法把激光图像的每个点都投影在nxm的矩阵平面上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵，labelImg软件对激光图像的nxmx3的二维矩阵进行标注。

构建矩阵模块32中点云数据是一个三维数据，设定采集设备的分辨率是nxm，点云数据可以通过OpenCV库中的projectPoints方法把每个点都投影在nxm的矩阵平面上，再通过遍历将点云数据的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵。

在计算机上构建一个新图像矩阵，将采集的可见光图像和激光图像中的每个通道按预定顺序添入新图像矩阵中。可见光图像是三通道 nxmx3的矩阵，激光图像是三通道的nxmx3矩阵，构建的新图像矩阵是六通道nxmx6的矩阵。

搭建网络模块33中采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为六，包括了可见光r g b三通道和激光位置x y z三通道，图像进入网络时以一个六通道的整体作为输入，利用卷积核对图像提取特征，六个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定墙面，预输入图像对应的通道数中的至少一个通道识别出特定墙面，判定特定墙面存在。

训练模型模块34中输入nxmx6的图像矩阵至搭建好的网络中，对六个通道同时建模，经多次训练后得到模型。

识别目标模块35在使用时，同样采集时空同步的可见光图像和激光图像，生成具有与构建矩阵模块32设定相同的预定顺序的多通道融合的nxmx6图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx6图像矩阵进行识别，根据模型的输出得到墙面是否存在。

从现有技术中单光谱识别的角度看，当可见光谱完全覆盖纯色墙面时，获得的可见光图像上，墙面作为目标毫无特征可以提取。激光图像可以在上述情况下提取到距离和位置信息。

从现有技术中深度学习识别的角度看，如果单独对可见光图像进行识别，则输出否定的判定结果，如果单独用激光图像进行识别，也输出否定的判定结果，最后给出错误的判定结论，最后造成识别结果矛盾，需要用其他算法再对两个结果进行判断，增加了识别过程的复杂度，还增加了识别结果的误检率和漏检率。

从本技术方案多光谱识别的角度看，使用可见光图像、激光图像叠合的整体图像输入算法中进行识别，墙面在可见光上统一的颜色信息和激光上位置坐标组成的平面特征相关联，作为墙的整体特征输入在算法中作为整体特征进行判断，直接输出判定结果，减少识别过程的复杂度，减少了误检率和漏检率。

实施例四

以采集红外光图像和激光图像作为一实施例，具体地，如图7所示，上述识别方法包括以下步骤：

步骤S401，采集图像。

使用分辨率相同的设备采集足够多的同一目标在同一时刻拍摄的红外光图像和激光图像，在本实施例中拍摄的目标物为目标物温度与背景温度相接近的场景。再将红外光图像和激光图像的中心对齐和旋转角度调整一致，得到重合的红外光图像和激光图像，或者提前将采集设备的镜头调试好，使得拍摄的红外光图像和激光图像的中心能够对齐、旋转角度能够一致。

所采集的红外光图像是单通道的灰度矩阵，每个像素点有一个维度信息；所采集的激光图像获得的是点云数据，带有多个维度信息，包括每个像素点xyz的三维空间坐标信息。

步骤S402，标注图像。

使用标注工具软件，例如labelImg软件对红外光图像和激光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出目标物，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含目标物在图像上的位置信息，因为红外光图像和激光图像在空间上是叠合的，所以目标物在红外光图像和激光图像上的位置是一致的，也就是说，标注红外光图像和激光图像的任何一个，相当于这个目标物就被标注。

其中，激光图像是一个三维数据，设定采集设备的分辨率是nxm，激光图像可以通过OpenCV库中的projectPoints方法把激光图像的每个点都投影在nxm的矩阵平面上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵，labelImg软件对激光图像的nxmx3的二维矩阵进行标注。

步骤S403，构建矩阵。

点云数据是一个三维数据，设定采集设备的分辨率是nxm，点云数据可以通过OpenCV库中的projectPoints方法把每个点都投影在nxm的矩阵平面上，再通过遍历将点云数据的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵。

在计算机上构建一个新图像矩阵，将采集的红外光图像和激光图像中的每个通道按预定顺序添入新图像矩阵中。红外图像是一通道 nxmx1的矩阵激光图像是三通道的nxmx3矩阵，构建的新图像矩阵是四通道nxmx4的矩阵。

步骤S404，搭建网络。

采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为四，包括了红外温度通道和激光位置x y z三通道，图像进入网络时以一个四通道的整体作为输入，利用卷积核对图像提取特征，四个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定目标物，预输入图像对应的通道数中的至少一个通道识别出特定目标物，判定特定目标物存在。

步骤S405，训练模型。

输入nxmx4的图像矩阵至搭建好的网络中，对四个通道同时建模，经多次训练后得到模型。

步骤S406，识别目标。

在使用时，同样采集时空同步的红外光图像和激光图像，生成具有与步骤S403中构建矩阵设定相同的预定顺序的多通道融合的nxmx4图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx4图像矩阵进行识别，根据模型的输出得到目标物是否存在。

与方法实施例相对应，本申请实施例还提供基于多光谱数据深度学习的识别装置。本申请实施例提供的基于多光谱数据深度学习的识别装置的框图，如图8所示，包括：采集图像模块40、标注图像模块41、构建矩阵模块42、搭建网络模块43、训练模型模块44和识别目标模块45。

采集图像模块40采集具有目标物的红外光图像和激光图像。标注图像模块标注目标物的位置信息。构建矩阵模块将标注位置信息的图像按照预定顺序构建为图像矩阵。搭建网络模块搭建多通道训练网络。训练模型模块将图像矩阵输入至多通道训练网络得到判断模型，其中，图像矩阵中至少一个通道识别出目标物，判定目标物存在。识别模型模块在使用时采集多光谱图像，将多光谱图像构建为具有预定顺序的特定图像矩阵，使用判断模型对特定图像矩阵进行识别。

在本实施例中，上述识别方法能够快速且准确地识别环境中目标物温度与背景温度相接近的目标物，从而为识别者提供准确的位置信息，不仅提升了识别准确率，还提升了可靠性，具有较强的鲁棒性，而且降低了对硬件计算性能的要求，从而有效地降低了成本。

在采集图像模块40中使用分辨率相同的红外光传感器和激光传感器采集足够多的同一目标在同一时刻拍摄的红外光图像和激光图像，其中，以分光方式对红外光传感器和激光传感器进行同光轴处理。分辨率相同的红外光传感器和激光传感器采集的红外光图像和激光图像在各自的像素点上一一对应。由于红外光传感器和激光传感器进行同光轴处理，所以拍摄完成的红外光图像和激光图像的中心对齐，再将红外光图像和激光图像的旋转角度调整一致，得到完全重合的红外光图像和激光图像。在本实施例中拍摄的目标物为环境中目标物温度与背景温度相接近的目标物。

在本实施例中所采集的红外光图像是单通道的灰度矩阵，每个像素点有一个维度信息；所采集的激光图像获得的是点云数据，带有多个维度信息，包括每个像素点xyz的三维空间坐标信息。

标注图像模块41中使用标注工具软件，例如labelImg软件对红外光图像和激光图像分开标注，只要在任何一个光谱图像上肉眼能够识别出目标物，即对该图像进行标注，每组图像只需标注一次，最终产生一份标注文件，标注文件包含目标物在图像上的位置信息，因为红外光图像和激光图像在空间上是叠合的，所以目标物在红外光图像和激光图像上的位置是一致的，也就是说，标注红外光图像和激光图像的任何一个，相当于这个目标物就被标注。

其中，激光图像是一个三维数据，设定采集设备的分辨率是nxm，激光图像可以通过OpenCV库中的projectPoints方法把激光图像的每个点都投影在nxm的矩阵平面上，再通过遍历将激光图像的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵，labelImg软件对激光图像的nxmx3的二维矩阵进行标注。

构建矩阵模块42中点云数据是一个三维数据，设定采集设备的分辨率是nxm，点云数据可以通过OpenCV库中的projectPoints方法把每个点都投影在nxm的矩阵平面上，再通过遍历将点云数据的xyz信息附在二维矩阵上，得到一个nxmx3的二维矩阵。

在计算机上构建一个新图像矩阵，将采集的红外光图像和激光图像中的每个通道按预定顺序添入新图像矩阵中。红外图像是一通道 nxmx1的矩阵激光图像是三通道的nxmx3矩阵，构建的新图像矩阵是四通道nxmx4的矩阵。

搭建网络模块43中采用卷积神经网络的目标识别算法，在网络结构中，预输入图像的图像通道数可以为任意值，在本实施例中，设定输入的图像通道数为四，包括了红外温度通道和激光位置x y z三通道，图像进入网络时以一个四通道的整体作为输入，利用卷积核对图像提取特征，四个通道通过卷积、池化、激活、全链接等步骤，在多层网络中进行建模分类。预输入图像中具有特定目标物，预输入图像对应的通道数中的至少一个通道识别出特定目标物，判定特定目标物存在。

训练模型模块44中输入nxmx4的图像矩阵至搭建好的网络中，对四个通道同时建模，经多次训练后得到模型。

识别目标模块45在使用时，同样采集时空同步的红外光图像和激光图像，生成具有与构建矩阵模块42设定相同的预定顺序的多通道融合的nxmx4图像矩阵，将模型在卷积神经网络的目标识别算法运行对nxmx4图像矩阵进行识别，根据模型的输出得到目标物是否存在。

从现有技术中单光谱识别的角度看，当目标物体温度与背景温度接近时，红外光图像上目标物几乎与背景融为一体，灰度信息一致，无特征可以提取。激光图像可以在上述情况下提取到距离和位置信息。

从现有技术中深度学习识别的角度看，如果单独对已拍摄的红外光图像进行识别，没有特征提取，输出否定的判定结果。如果单独对已拍摄的激光图像进行识别，则输出肯定的判定结果。最后给出两个矛盾的判定结论，还需要引入其他算法策略对两个判定结果进行取舍，增加判定复杂度、误检率和漏检率。

从本技术方案多光谱识别的角度看，使用红外光图像、激光图像叠合的整体图像输入算法中进行识别，红外光图像上的灰度信息和激光图像上的位置坐标特征相关联，进而作为目标的整体特征输入在算法中作为整体特征进行判断，直接输出判定结果，降低率判定的复杂度，降低了误检率和漏检率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种基于多光谱数据深度学习的识别方法，其特征在于，包括：

采集具有目标物的红外光图像、可见光图像和激光图像中的至少两个图像，

标注所述目标物的位置信息，

将标注位置信息的图像按照预定顺序构建为图像矩阵，

搭建多通道训练网络，

将所述图像矩阵输入至所述多通道训练网络得到判断模型，其中，所述图像矩阵中至少一个通道识别出所述目标物，判定所述目标物存在。

2.如权利要求1所述的基于多光谱数据深度学习的识别方法，其特征在于，还包括：

识别模型，在使用时，采集多光谱图像，将所述多光谱图像构建为具有所述预定顺序的特定图像矩阵，使用判断模型对所述特定图像矩阵进行识别。

3.如权利要求1所述的基于多光谱数据深度学习的识别方法，其特征在于，采集的所述图像图像重合。

4.如权利要求3所述的基于多光谱数据深度学习的识别方法，其特征在于，采集的所述图像是对同一所述目标物在同一时刻进行拍摄。

5.如权利要求3所述的基于多光谱数据深度学习的识别方法，其特征在于，采集所述图像的设备的分辨率相同。

6.如权利要求5所述的基于多光谱数据深度学习的识别方法，其特征在于，将所述图像的中心对齐，将中心对齐的所述图像的旋转角度调整一致，将所述图像重合。

7.如权利要求1所述的基于多光谱数据深度学习的识别方法，其特征在于，对所述图像进行标注，当所述图像上的所述目标物能够被肉眼识别时，对所述目标物标注。

8.如权利要求1所述的基于多光谱数据深度学习的识别方法，其特征在于，所述激光图像通过能够将三维图像投影至二维图像的软件将所述激光图像上的点投影在nxm的二维矩阵上，再通过遍历将所述激光图像的xyz信息附在所述二维矩阵上，得到nxmx3的所述二维矩阵。

9.如权利要求1所述的基于多光谱数据深度学习的识别方法，其特征在于，搭建所述多通道训练网络包括：采用卷积神经网络算法进行搭建，根据预输入图像对应的通道数设定通道的个数，以所述预输入图像的整体通道作为输入，利用卷积核对所述预输入图像提取特征，所述整体通道通过卷积、池化、激活、全链接进行建模分类，所述预输入图像中具有特定目标物，所述预输入图像对应的通道数中的至少一个通道识别出所述特定目标物，判定所述特定目标物存在。

10.如权利要求9所述的基于多光谱数据深度学习的识别方法，其特征在于，将所述图像矩阵输入至所述多通道训练网络中进行模型训练，对所述图像对应的通道数同时建模，所述图像对应的通道数中的至少一个通道识别出所述目标物，判定所述目标物存在。

11.一种基于多光谱数据深度学习的识别装置，其特征在于，包括：

采集图像模块，采集具有目标物的红外光图像、可见光图像和激光图像中的至少两个图像，

标注图像模块，标注所述目标物的位置信息，

构建矩阵模块，将标注位置信息的图像按照预定顺序构建为图像矩阵，

搭建网络模块，搭建多通道训练网络，

训练模型模块，将所述图像矩阵输入至所述多通道训练网络得到判断模型，其中，所述图像矩阵中至少一个通道识别出所述目标物，判定所述目标物存在。

12.如权利要求11所述的基于多光谱数据深度学习的识别装置，其特征在于，还包括：

识别模型模块，在使用时，采集多光谱图像，将所述多光谱图像构建为具有所述预定顺序的特定图像矩阵，使用判断模型对所述特定图像矩阵进行识别。

13.如权利要求11所述的基于多光谱数据深度学习的识别装置，其特征在于，红外光传感器、可见光传感器、激光传感器和紫外传感器的至少两个，采集的所述图像图像重合。

14.如权利要求13所述的基于多光谱数据深度学习的识别装置，其特征在于，采集的所述图像是对同一所述目标物在同一时刻进行拍摄。

15.如权利要求13所述的基于多光谱数据深度学习的识别装置，其特征在于，所述采集图像模块中的设备的分辨率相同。

16.如权利要求13所述的基于多光谱数据深度学习的识别装置，其特征在于，将所述图像的中心对齐，将中心对齐的所述图像的旋转角度调整一致，将所述图像重合。

17.如权利要求11所述的基于多光谱数据深度学习的识别装置，其特征在于，对所述图像进行标注，当所述图像上的所述目标物能够被肉眼识别时，对所述目标物标注。

18.如权利要求11所述的基于多光谱数据深度学习的识别装置，其特征在于，所述激光图像通过能够将三维图像投影至二维图像的软件将所述激光图像上的点投影在nxm的二维矩阵上，再通过遍历将所述激光图像的xyz信息附在所述二维矩阵上，得到nxmx3的所述二维矩阵。

19.如权利要求11所述的基于多光谱数据深度学习的识别装置，其特征在于，对采集具有所述目标物的图像进行标注，当图像上的所述目标物能够被肉眼识别时，即对图像进行标注。

20.如权利要求11所述的基于多光谱数据深度学习的识别装置，其特征在于，搭建多通道训练网络包括：采用卷积神经网络算法进行搭建，根据预输入图像对应的通道数设定通道的个数，以所述预输入图像的整体通道作为输入，利用卷积核对所述预输入图像提取特征，所述整体通道通过卷积、池化、激活、全链接进行建模分类，所述预输入图像中具有特定目标物，所述预输入图像对应的通道数中的至少一个通道识别出所述特定目标物，判定所述特定目标物存在。

21.如权利要求20所述的基于多光谱数据深度学习的识别装置，其特征在于，将所述图像矩阵输入至所述多通道训练网络中进行模型训练，对所述图像对应的通道数同时建模，所述图像对应的通道数中的至少一个通道识别出所述目标物，判定所述目标物存在。

22.一种电子设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1-10中任一项所述的基于多光谱数据深度学习的识别方法。

23.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的基于多光谱数据深度学习的识别方法。

Images