CN112613568B - 基于可见光及红外多光谱图像序列的目标识别方法和装置 - Google Patents

基于可见光及红外多光谱图像序列的目标识别方法和装置 Download PDF

Info

Publication number
CN112613568B
CN112613568B CN202011593002.8A CN202011593002A CN112613568B CN 112613568 B CN112613568 B CN 112613568B CN 202011593002 A CN202011593002 A CN 202011593002A CN 112613568 B CN112613568 B CN 112613568B
Authority
CN
China
Prior art keywords
target
infrared
camera
image sequence
infrared camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011593002.8A
Other languages
English (en)
Other versions
CN112613568A (zh
Inventor
刘孙相与
李贵涛
詹亚锋
高鹏
赵孔亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011593002.8A priority Critical patent/CN112613568B/zh
Publication of CN112613568A publication Critical patent/CN112613568A/zh
Application granted granted Critical
Publication of CN112613568B publication Critical patent/CN112613568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于可见光及红外多光谱图像序列的目标识别方法和装置，其中，方法包括：使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；同时使用可见光相机拍摄彩色图像序列；分别采用基于运动的前景提取算法以及基于表观的前景提取算法，获取包含候选矩形窗的目标同步图像；根据预先训练的与每个目标同步图像对应的分类器识别候选矩形窗中包含的目标类别识别概率；显示目标类别识别概率的加权融合结果。由此，充分利用了目标在各个维度的特征，能较大提升目标识别的精确度。

Description

基于可见光及红外多光谱图像序列的目标识别方法和装置
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于可见光及红外多光谱图像序列的目标识别方法和装置。
背景技术
近年来,人工智能和计算机视觉的发展使得基于图像/视频的目标检测与识别方法的性能有了较大的提升,使其成为研究此类问题的新手段。相比于基于雷达、射频等方法,基于机器视觉的方法具备系统简单、硬件体积小、场景普适性强、探测距离远、识别粒度细等优点。这些特点也使得基于图像/视频的识别方法被应用在多种现实场景中，如地铁安检测温及人流量统计、车辆自动驾驶、无人机巡检、商品货架分拣等。这些现实需求也相应地对识别方法和框架提出了诸如实时性、全天候、高精度等新的要求。特别是对一些小型目标，他们在图像传感器中占据的像素较少，信噪比较低，难以被探测和识别。
对于图像/视频(图像序列)输入的目标识别问题，常用的解决方案是在可见光谱段采用深度神经网络直接进行识别。这些方法对于在清晰视野下，细节分辨率较高、背景区分度较大的目标有较高的精度，但对于夜晚、复杂背景、小目标难以适用。所以，有些工作将除可见光图像特征外的其他特征加入至识别过程，包括运动特征、视频帧间联系、红外特征、不变矩特征等，得到基于多特征融合的识别结果。但这些工作也是仅满足一类或少数几类识别场景，并且识别精度较低，难以处理环境变化、复杂背景、以及多实例等问题，对于多数常见识别场景都不能提供高精度的识别结果。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于可见光及红外多光谱图像序列的目标识别方法，该方法提取了目标多个谱段的特征，形成了多维度的特征描述，能适用多种不同场景，具备全天候、精度高、鲁棒性好的特点。
本发明的第二个目的在于提出一种基于可见光及红外多谱段图像序列的目标识别装置。
本发明的第三个目的在于提出一种计算机设备。
为达上述目的，本发明第一方面实施例提出了一种基于可见光及红外多光谱图像序列的目标识别方法，包括：
使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；
同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；
同时使用可见光相机拍摄彩色图像序列；
分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像；
根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；
在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。
可选的，所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列，包括：
根据第一帧率采集所述多光谱图像序列，其中，每个所述波段的波长带宽应小于30nm，所述多光谱相机采集时覆盖可见光波段波长范围为380nm-760nm；
所述同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，包括：
根据第二帧率同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，其中，所述近红外相机采集时覆盖的波长范围为0.76um-1.3um，所述中红外相机采集时覆盖的波长范围为1.3um-3um，所述远红外相机采集时覆盖的波长范围为3um-15um；
所述同时使用可见光相机拍摄彩色图像序列，包括：
同时通过第三帧率使用可见光相机拍摄彩色图像序列。
可选的，在所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列之前，还包括：
确定所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机的相机摆放位置，使得所有相机的视野覆盖所述目标区域。
可选的，在所述对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算之前，包括：
确定所述第一帧率、所述第二帧率和所述第三帧率的最小公倍数对应的同步间隔；
在所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中确定与所述同步间隔对应的图像为所述同步图像。
可选的，所述获取包含候选矩形窗的目标同步图像，包括：
基于运动的前景提取算法提取所述每个同步图像中的第一矩形区域；
基于表观的前景提取算法提取所述每个同步图像中的第二矩形区域；
计算所述第一矩形区域和所述第二矩形区域的交比阈值；
确定所述交比阈值大于预设阈值的同步图像为所述目标同步图像，并在所述第一矩形区域和所述第二矩形区域中确定包含重叠像素点最多的矩形区域为所述候选矩形窗。
可选的，所述在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果，包括：
在所述候选矩形窗中确定所述识别概率大于0.5的目标矩形框；
将所有的所述目标矩形框采用非极大值抑制算法将对应的矩形框缩放至贴近对应的目标类别识别概率的大小；
获取拍摄所述目标区域的环境光，根据所述环境光在所述可见光相机和所述近红外相机、中红外相机和远红外相机中确定目标显示设备；
根据预设的单应性矩阵将每个缩放后的所述目标矩形框与所述目标显示设备对齐；
将对齐后的每个缩放后所述目标矩形框对应的每个目标类别识别概率和对应的分类器的训练精度乘积获取乘积值；
计算相同位置的缩放后的目标矩形框对应的每个所述目标类别识别概率的所有乘积值的加权和，在所述目标显示设备对应的图像中显示所述每个所述目标类别识别概率的所述加权和。
可选的，所述根据预设的单应性矩阵将每个缩放后的所述目标矩形框与所述目标显示设备对齐，包括：
根据预设算法对预设的单应性矩阵计算，将每个缩放后的所述目标矩形框与所述目标显示设备对齐，其中，所述预设算法为：
Figure BDA0002869176550000031
其中，
Figure BDA0002869176550000041
为所述预设的单应性矩阵，
Figure BDA0002869176550000042
为所述每个矩形框中目标特征点的目标类别识别概率的图像坐标，
Figure BDA0002869176550000043
为所述每个相匹配的所述目标矩形框中目标类别识别概率特征点对齐后的图像坐标。
可选的，所述相机摆放位置为：
所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机位于同一平面且垂直于地面且均面向所述目标区域；
所述可见光相机于中心位置，所述多光谱相机处于在垂直地面的正上方，所述近红外相机、中红外相机和远红外相机在垂直地面的正下方；
所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机之间，相邻相机的在空间位置的上下左右间距相同。
为达上述目的，本发明第二方面实施例提出了一种基于可见光及红外多光谱图像序列的目标识别装置，包括：采集模块，用于使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；
所述采集模块，还用于同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；
所述采集模块，还用于同时使用可见光相机拍摄彩色图像序列；
获取模块，用于分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像；
识别模块，用于根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；
显示模块，用于在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于可见光及红外多光谱图像序列的目标识别方法。
本发明的实施例，至少具有如下的技术效果：
利用可见光多谱段、红外多光谱以及可见光彩色图像特征对目标进行探测识别，充分利用了目标在各个维度的特征，能较大提升目标识别的精确度。同时，依靠多维度的特征，能解决物体遮挡、复杂背景、小目标以及环境光线剧烈变化等问题，提出了一种融合多传感器图像的识别方法。此识别框架具备可移植性，在任何多路图像融合识别问题中，都可以直接应用，且利用多传感器的方式，能够提供全天候的探测识别服务，使系统具备足够的鲁棒性，即使单个设备损坏，也能确保识别结果具备足够精度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于可见光及红外多光谱图像序列的目标识别方法的流程示意图；
图2是根据本发明一个实施例的相机摆放位置的场景示意图；
图3为本发明实施例所提供的一种基于可见光及红外多光谱图像序列的目标识别场景示意图；以及
图4为本发明实施例所提供的一种基于可见光及红外多光谱图像序列的目标识别装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于可见光及红外多光谱图像序列的目标识别方法和装置。
图1为本发明实施例所提供的一种基于可见光及红外多光谱图像序列的目标识别方法的流程示意图。
如图1所示，该方法包括：
步骤101，使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列。
其中，多光谱相机可以为一个也可以为多个，在本发明中不作限制。
步骤102，同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列。
步骤103，同时使用可见光相机拍摄彩色图像序列。
在本公开的实施例中，使用三种类型的相机对目标区域拍摄图像序列，即在同样的时间段内，同时以一定的帧率拍摄对应的图像序列，其中，图像序列中包括多张图像。
需要说明的是，在三种类型的相机拍摄之前，配准各成像设备，同时启用所有相机对目标区域进行拍摄，并同步各相机图像。即确定近红外相机、中红外相机和远红外相机、多光谱相机和可见光相机的相机摆放位置，使得所有相机的视野覆盖目标区域。
在本发明的一个实施例中，相机摆放位置参照图2，其中，图2中以多光谱相机为3个为例，使三类相机的相平面位于同一平面且垂直于地面，且均面向目标所在方向；以可见光相机为中心，在垂直地面的正上方，布置多谱段相机；其下布置短中长红外相机。各相机在空间位置的上下左右(高度方向上下，左右方向可互换)间距保持一致，并尽量保证较小的间距，以获得最大的共享视场范围。在本实施例中，为尽可能保证较大的共享视场以及较高的识别精度，可见光多谱段相机采用不少于3台，近中远红外相机各配置一台。
在本发明的一个实施例中，根据第一帧率采集多光谱图像序列，其中，每个波段的波长带宽应小于30nm，第一帧率大于等于15帧/秒，多光谱相机采集时覆盖可见光波段波长范围为380nm-760nm，根据第二帧率同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，其中，第二帧率等于15帧/秒，其中，近红外相机采集时覆盖的波长范围为0.76um-1.3um，中红外相机采集时覆盖的波长范围为1.3um-3um，远红外相机采集时覆盖的波长范围为3um-15um，同时通过第三帧率使用可见光相机拍摄彩色图像序列，其中，第三帧率大于等于30帧/秒，包含目标更多细节。
即在本实施例中，使用多光谱相机(波长范围为380-760nm)以均匀间隔采集不少于1个波段的图像序列；使用近红外相机(0.76um-1.3um)、中红外相机(波长范围1.3um-3um)和远红外相机(波长范围3-15um)采集所在谱段范围的图像，所有红外相机采集不少于1个谱段；以及使用可见光相机拍摄彩色图像序列。其中，在本发明的一个实施例中，所使用近红外相机(0.76um-1.3um)、中红外相机(波长范围1.3um-3um)和远红外相机(波长范围3-15um)采集各所在谱段范围的图像，所有红外相机采集不少于1个红外谱段，使用近红外相机(0.76um-1.3um)、中红外相机(波长范围1.3um-3um)和远红外相机(波长范围3-15um)，在大气空气窗口内(0.3-1.3um、1.5-1.9um、3.5-5.5um、8-14um)采集各所在谱段范围的图像；三类红外相机至少采集一个红外谱段下的图像序列，且帧率不小于15帧/秒。
步骤104，分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对多光谱图像序列、红外图像序列和彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像。
在本实施例中，确定第一帧率、第二帧率和第三帧率的最小公倍数对应的同步间隔，在多光谱图像序列、红外图像序列和彩色图像序列中确定与同步间隔对应的图像为同步图像，即每个相同的同步间隔所对应的所有图像为彼此的同步图像。
在本实施例中，分别采用运动目标检测以及候选窗口提取算法，获得两类感兴趣矩形区域，融合后得到待识别的候选矩形窗，为：
对每一种相机，采用Vibe算法(Visual Background extractor，视频前景提取算法)提取出图像序列相邻帧的图像的运动矩形区域；采用候选SS算法(Selective Search，选择性搜索算法)提取出基于外观的疑似矩形区域。将两类矩形区域均作为候选矩形窗。若存在两个矩形区域交比大于80％的，则仅保留所占像素较多的一个作为对应图像的候选矩形窗。
即在本实施例中，基于运动的前景提取算法提取每个同步图像中的第一矩形区域，基于表观的前景提取算法提取每个同步图像中的第二矩形区域，计算第一矩形区域和第二矩形区域的交比阈值，确定交比阈值大于预设阈值的同步图像为目标同步图像，并在第一矩形区域和第二矩形区域中确定包含重叠像素点最多的矩形区域为候选矩形窗。
在一些可能的示例中，对每个相机的图像序列分别提取运动候选矩形区域以及表观特征候选矩形区域，并根据交比小于80％的原则，融合为待识别的候选矩形窗。根据提取出的两类矩形区域，若其中任意两个相交矩形区域的交比大于80％，则去除面积较小的一个矩形区域；依此原则形成待识别的候选矩形窗。
步骤105，根据预先训练的与每个目标同步图像对应的分类器识别每个目标同步图像中的候选矩形窗中包含的目标类别识别概率。
在本实施例中，对于不同相机采集得到的相应不同类型图像，训练相应的分类器。其中分类器可以为Faster RCNN网络，Faster RCNN网络在不同类相机图像集中分别进行训练，在保证不过拟合的情况下，使其在达到足够高的训练精度，经分类器识别后，得到对于每一帧的同步图像识别包含目标类别和对应的识别概率。
其中，目标类别识别概率可以为候选矩形窗中包含的目标物体的坐标点位置以及物体类型等。其中，每个候选矩形窗包含的目标类别识别概率可以为多个。
步骤106，在彩色图像序列中的彩色图像中，或者，红外图像序列的红外图像中显示目标类别识别概率的加权融合结果。
在本实施例中，依据各谱段所用分类器的训练精度，将各谱段识别结果加权融合至可见光彩色图像或红外图像进行显示。
在本实施例中，在候选矩形窗中确定识别概率大于0.5的目标矩形框，将所有的目标矩形框采用非极大值抑制算法将对应的矩形框缩放至贴近对应的目标类别识别概率的大小，即生成包含目标类别识别概率的最小包围框，获取拍摄目标区域的环境光，根据环境光在可见光相机和近红外相机、中红外相机和远红外相机中确定目标显示设备，在本实施例中，根据环境光照度选用不同相机作为实时显示设备，设置光照阈值，即当地面照度大于阈值时，选用可见光彩色相机作为显示设备；当地面照度小于阈值时，选择对比度最大的红外图像作为目标显示设备。比如，由于待识别场景的光线变化情况，使得待识别目标(低小慢飞行器)在不同相机下可能出现无法探测的问题，如夜晚采用可见光相机无法对飞行器进行探测识别。所以，根据环境光照度：当地面照度大于5lx时，选用可见光相机作为目标显示设备；当地面照度小于5lx时，选择对比度最大的红外图像作为目标显示设备。
进一步的，在本实施例中，获取不同的相机与显示设备之间的单应性矩阵，根据预设的单应性矩阵将每个缩放后的目标矩形框与目标显示设备对齐，根据各相机与显示设备帧率，当两设备同时触发采集时，将其他相机识别结果根据单应性矩阵映射至显示设备中，此映射过程仅发生在各相机与显示设备同步时触发采集的时刻,其中，单应性矩阵根据目标显示设备和对应的同步图像的相机的摆放位置确定的，在本实施例中，采用靶标法计算相机间的单应性矩阵H，即各相机像平面映射关系，其中，单应性矩阵H如下公式(1)：
Figure BDA0002869176550000081
其中，在公式(1)中的h11、h12、h21、h22为对应的相机相对于目标显示设备的旋转参数，h13、h23、h31、h32为对应的相机相对于目标显示设备的平移参数。
根据预设的单应性矩阵将每个缩放后的目标矩形框与目标显示设备对齐，可以采用如下公式(2)：
Figure BDA0002869176550000082
其中，
Figure BDA0002869176550000091
为每个目标矩形框中目标特征点的目标类别识别概率的图像坐标，
Figure BDA0002869176550000092
为所述每个相匹配的所述目标矩形框中目标类别识别概率特征点对齐后的图像坐标，x、y和z可以理解为每个缩放后的目标矩形框中目标类别识别概率的特征点的坐标。在本发明的一个实施例中，特征点为缩放后的目标矩形框的顶点坐标，则上述公式(2)的等式左边为映射至目标显示设备的齐次坐标；右边坐标为矩形窗顶点在原设备中的齐次坐标。此映射过程仅发生在各相机与显示设备同步时刻，即发生在两相机同时触发采集的时刻。
将对齐后的每个缩放后目标矩形框对应的每个目标类别识别概率和对应的分类器的训练精度乘积获取乘积值，计算相同位置的缩放后的目标矩形框对应的每个目标类别识别概率的所有乘积值之和，在目标显示设备对应的图像中显示每个目标类别识别概率的所有乘积值之和。其中，目标显示设备对应的图像可以为任意选择的像素质量比较高的图像等。
举例而言，参照图3，当目标显示设备为可见光相机，当多光谱相机包括1和2时，对同一个同步时刻的采集得到的多光谱相机1的目标矩形框中包含的目标类别为1和2，多光谱相机2的目标矩形框中包含的目标类别为1和3，近红外相机的目标矩形框中包含的目标类别为2和3，中红外相机的目标矩形框中包含的目标类别为2和3，远红外相机的目标矩形框中包含的目标类别为1和4，按照每个相机与可见光相机对应的单应性矩阵对所有的缩放后的目标矩形框的位置进行对齐后，得到各个相机拍摄的同步图像中包含了目标类别1-4，因此，在可见光相机对应的同步彩色显示图像上，显示目标类别1-4，图中没有显示目标类别的识别概率。
综上，本发明实施例的基于可见光及红外多光谱图像序列的目标识别方法，利用可见光多谱段、红外多光谱以及可见光彩色图像特征对目标进行探测识别，充分利用了目标在各个维度的特征，能较大提升目标识别的精确度。同时，依靠多维度的特征，能解决物体遮挡、复杂背景、小目标以及环境光线剧烈变化等问题，提出了一种融合多传感器图像的识别方法。此识别框架具备可移植性，在任何多路图像融合识别问题中，都可以直接应用，且利用多传感器的方式，能够提供全天候的探测识别服务，使系统具备足够的鲁棒性，即使单个设备损坏，也能确保识别结果具备足够精度。
为了实现上述实施例，本发明还提出一种基于可见光及红外多光谱图像序列的目标识别装置。
图4为本发明实施例提供的一种基于可见光及红外多光谱图像序列的目标识别装置的结构示意图。
如图4所示，该基于可见光及红外多光谱图像序列的目标识别装置包括：采集模块410、获取模块420、识别模块430、显示模块440。
其中，采集模块410，用于使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；
所述采集模块410，还用于同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；
所述采集模块410，还用于同时使用可见光相机拍摄彩色图像序列；
获取模块420，用于分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像；
识别模块430，用于根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；
显示模块440，用于在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所描述的基于可见光及红外多光谱图像序列的目标识别方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的基于可见光及红外多光谱图像序列的目标识别方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述实施例所描述的基于可见光及红外多光谱图像序列的目标识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于可见光及红外多光谱图像序列的目标识别方法，其特征在于，包括以下步骤：
使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；
同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；
同时使用可见光相机拍摄彩色图像序列；
分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像，其中，所述获取包含候选矩形窗的目标同步图像，包括：
基于运动的前景提取算法提取所述每个同步图像中的第一矩形区域，
基于表观的前景提取算法提取所述每个同步图像中的第二矩形区域，
计算所述第一矩形区域和所述第二矩形区域的交比阈值，
确定所述交比阈值大于预设阈值的同步图像为所述目标同步图像，并在所述第一矩形区域和所述第二矩形区域中确定包含重叠像素点最多的矩形区域为所述候选矩形窗；
根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；
在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。
2.如权利要求1所述的方法，其特征在于，所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列，包括：
根据第一帧率采集所述多光谱图像序列，其中，每个所述波段的波长带宽应小于30nm，所述多光谱相机采集时覆盖可见光波段波长范围为380nm-760nm；
所述同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，包括：
根据第二帧率同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，其中，所述近红外相机采集时覆盖的波长范围为0.76um-1.3um，所述中红外相机采集时覆盖的波长范围为1.3um-3um，所述远红外相机采集时覆盖的波长范围为3um-15um；
所述同时使用可见光相机拍摄彩色图像序列，包括：
同时通过第三帧率使用可见光相机拍摄彩色图像序。
3.如权利要求1所述的方法，其特征在于，在所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列之前，还包括：
确定所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机的相机摆放位置，使得所有相机的视野覆盖所述目标区域。
4.如权利要求2所述的方法，其特征在于，在所述对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算之前，包括：
确定所述第一帧率、所述第二帧率和所述第三帧率的最小公倍数对应的同步间隔；
在所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中确定与所述同步间隔对应的图像为所述同步图像。
5.如权利要求1所述的方法，其特征在于，所述在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果，包括：
在所述候选矩形窗中确定所述识别概率大于0.5的目标矩形框；
将所有的所述目标矩形框采用非极大值抑制算法将对应的矩形框缩放至贴近对应的目标类别识别概率的大小；
获取拍摄所述目标区域的环境光，根据所述环境光在所述可见光相机和所述近红外相机、中红外相机和远红外相机中确定目标显示设备；
根据预设的单应性矩阵将每个缩放后的所述目标矩形框与所述目标显示设备对齐；
将对齐后的每个所述目标矩形框对应的目标类别识别概率和对应分类器的训练精度乘积获取乘积值；
计算相同位置的缩放后的目标矩形框对应的每个所述目标类别识别概率的所有乘积值的加权和，在所述目标显示设备对应的图像中显示所述每个所述目标类别识别概率的所述加权和。
6.如权利要求5所述的方法，其特征在于，所述根据预设的单应性矩阵将每个缩放后的所述目标矩形框与所述目标显示设备对齐，包括：
根据预设算法对预设的单应性矩阵计算，将每个缩放后的所述目标矩形框与所述目标显示设备对齐，其中，所述预设算法为：
Figure FDA0003673208370000021
其中，
Figure FDA0003673208370000031
为所述预设的单应性矩阵，
Figure FDA0003673208370000032
为所述每个目标矩形框中目标特征点的目标类别识别概率的图像坐标，
Figure FDA0003673208370000033
为所述每个相匹配的所述目标矩形框中目标类别识别概率特征点对齐后的图像坐标。
7.如权利要求3所述的方法，其特征在于，所述相机摆放位置为：
所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机位于同一平面且垂直于地面且均面向所述目标区域；
所述可见光相机于中心位置，所述多光谱相机处于在垂直地面的正上方，所述近红外相机、中红外相机和远红外相机在垂直地面的正下方；
所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机之间，相邻相机的在空间位置的上下左右间距相同。
8.一种基于可见光及红外多光谱图像序列的目标识别装置，其特征在于，包括：
采集模块，用于使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；
所述采集模块，还用于同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；
所述采集模块，还用于同时使用可见光相机拍摄彩色图像序列；
获取模块，用于分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像，其中，所述获取包含候选矩形窗的目标同步图像，包括：
基于运动的前景提取算法提取所述每个同步图像中的第一矩形区域，
基于表观的前景提取算法提取所述每个同步图像中的第二矩形区域，
计算所述第一矩形区域和所述第二矩形区域的交比阈值，
确定所述交比阈值大于预设阈值的同步图像为所述目标同步图像，并在所述第一矩形区域和所述第二矩形区域中确定包含重叠像素点最多的矩形区域为所述候选矩形窗；
识别模块，用于根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；
显示模块，用于在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的方法。
CN202011593002.8A 2020-12-29 2020-12-29 基于可见光及红外多光谱图像序列的目标识别方法和装置 Active CN112613568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011593002.8A CN112613568B (zh) 2020-12-29 2020-12-29 基于可见光及红外多光谱图像序列的目标识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011593002.8A CN112613568B (zh) 2020-12-29 2020-12-29 基于可见光及红外多光谱图像序列的目标识别方法和装置

Publications (2)

Publication Number Publication Date
CN112613568A CN112613568A (zh) 2021-04-06
CN112613568B true CN112613568B (zh) 2022-08-05

Family

ID=75248766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011593002.8A Active CN112613568B (zh) 2020-12-29 2020-12-29 基于可见光及红外多光谱图像序列的目标识别方法和装置

Country Status (1)

Country Link
CN (1) CN112613568B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965843B (zh) * 2023-01-04 2023-09-29 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN117201834B (zh) * 2023-09-11 2024-06-21 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及系统
CN117499797B (zh) * 2023-12-29 2024-05-14 荣耀终端有限公司 图像处理方法及相关设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515127B2 (en) * 2010-07-28 2013-08-20 International Business Machines Corporation Multispectral detection of personal attributes for video surveillance
CN106778915A (zh) * 2017-01-17 2017-05-31 湖南优象科技有限公司 一种面向多摄像机的目标匹配方法
CN110261329B (zh) * 2019-04-29 2020-10-09 北京航空航天大学 一种基于全谱段高光谱遥感数据的矿物识别方法
CN110097568B (zh) * 2019-05-13 2023-06-09 中国石油大学(华东) 一种基于时空双分支网络的视频对象检测与分割方法
CN110599456B (zh) * 2019-08-13 2023-05-30 杭州智团信息技术有限公司 一种医学图像的特定区域的提取方法
CN110689554B (zh) * 2019-09-25 2022-04-12 深圳大学 用于红外图像序列的背景运动估计方法、装置及存储介质
CN111738097B (zh) * 2020-05-29 2024-04-05 理光软件研究所（北京）有限公司 一种目标分类方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN112613568A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112613568B (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
Tripathi et al. Removal of rain from videos: a review
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
Subburaman et al. Counting people in the crowd using a generic head detector
US9070023B2 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
CN106447680B (zh) 动态背景环境下雷达与视觉融合的目标检测与跟踪方法
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
Kong et al. Detecting abandoned objects with a moving camera
Shao et al. Car detection from high-resolution aerial imagery using multiple features
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
US20160093101A1 (en) Method And System For Generating A Three-Dimensional Model
CA2818579A1 (en) Calibration device and method for use in a surveillance system for event detection
WO2011101856A2 (en) Method and system for detection and tracking employing multi view multi spectral imaging
WO2010006361A1 (en) Detection of vehicles in images of a night time scene
CN105046719B (zh) 一种视频监控方法及系统
US20220366570A1 (en) Object tracking device and object tracking method
CN113486697B (zh) 基于空基多模态图像融合的森林烟火监测方法
Mazzeo et al. HSV and RGB color histograms comparing for objects tracking among non overlapping FOVs, using CBTF
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
Miller et al. Person tracking in UAV video
Verstockt et al. Silhouette-based multi-sensor smoke detection: coverage analysis of moving object silhouettes in thermal and visual registered images
CN109859200B (zh) 一种基于背景分析的低空慢速无人机快速检测方法
Sirmacek et al. Automatic crowd analysis from airborne images
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
CN115601538A (zh) 目标检测方法及目标检测器、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant