CN116958863A - 基于热成像视频的特征提取方法、设备以及存储介质 - Google Patents

基于热成像视频的特征提取方法、设备以及存储介质 Download PDF

Info

Publication number
CN116958863A
CN116958863A CN202310746203.4A CN202310746203A CN116958863A CN 116958863 A CN116958863 A CN 116958863A CN 202310746203 A CN202310746203 A CN 202310746203A CN 116958863 A CN116958863 A CN 116958863A
Authority
CN
China
Prior art keywords
thermal imaging
image
features
video
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310746203.4A
Other languages
English (en)
Inventor
吕少卿
俞鸣园
王克彦
孙俊伟
曹亚曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huachuang Video Signal Technology Co Ltd
Original Assignee
Zhejiang Huachuang Video Signal Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huachuang Video Signal Technology Co Ltd filed Critical Zhejiang Huachuang Video Signal Technology Co Ltd
Priority to CN202310746203.4A priority Critical patent/CN116958863A/zh
Publication of CN116958863A publication Critical patent/CN116958863A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于热成像视频的特征提取方法、设备以及存储介质，该基于热成像视频的特征提取方法包括：提取热成像视频中热成像图像的温度特征；基于温度特征确定热成像图像的图像特征；融合温度特征和图像特征，得到热成像图像的综合特征；根据热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到热成像视频的视频特征。上述方案，能够提升对热成像视频的特征提取效率。

Description

基于热成像视频的特征提取方法、设备以及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于热成像视频的特征提取方法、设备以及存储介质。
背景技术
热成像技术是一种通过红外线检测物体表面温度的技术，可以将物体的温度信息转化为图像进行显示，在热成像技术应用场景中，热成像特征提取是非常关键的一步，可以为后续的分析和处理提供有力的支持。
然而，热成像和光学成像在成像原理和特征表现上存在较大差异，导致传统的特征提取方法在热成像视频上的表现并不理想，目前亟需能够针对热成像进行特征提取的方法来提高基于热成像的目标识别的效率。
发明内容
本申请至少提供一种基于热成像视频的特征提取方法、装置、设备以及计算机可读存储介质。
本申请第一方面提供了一种基于热成像视频的特征提取方法，包括：提取所述热成像视频中热成像图像的温度特征；基于所述温度特征确定所述热成像图像的图像特征；融合所述温度特征和所述图像特征，得到所述热成像图像的综合特征；根据所述热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到所述热成像视频的视频特征。
在一实施例中，所述图像特征包括空间特征和语义特征，所述基于所述温度特征确定所述热成像图像的图像特征的步骤，包括：根据所述温度特征确定所述热成像图像中的空间信息；对所述空间信息进行特征提取，得到所述空间特征；对所述热成像图像进行语义特征提取，得到所述语义特征。
在一实施例中，所述根据所述温度特征确定所述热成像图像中的空间信息；对所述空间信息进行特征提取，得到所述空间特征的步骤，包括：根据所述温度特征检测所述热成像图像中的所述空间信息，所述空间信息包括边缘和角点；基于所述热成像图像的边缘和角点分别进行特征提取，得到所述空间特征，所述空间特征包括边缘特征和角点特征。
在一实施例中，在所述根据所述温度特征检测所述热成像图像中的所述空间信息的步骤之后，所述方法还包括：基于所述边缘对应的边缘像素和所述角点对应的角点像素对所述热成像图像中的像素进行二值化标记；对二值化标记后的热成像图像进行背景消除，得到所述二值化标记后的热成像图像的前景，所述前景包括目标对象；对所述目标对象进行语义特征提取，得到所述语义特征。
在一实施例中，所述提取所述热成像视频中热成像图像的温度特征的步骤，包括：对所述热成像图像进行温度识别，得到所述热成像图像中各像素点对应的温度值；基于所述温度值进行温度编码，得到所述热成像图像的温度特征的温度特征向量。
在一实施例中，所述基于所述温度特征确定所述热成像图像的图像特征；融合所述温度特征和所述图像特征，得到所述热成像图像的综合特征的步骤，包括：基于所述温度特征的所述温度特征向量，提取所述热成像图像的图像特征的图像特征向量；将所述温度特征向量和所述图像特征向量进行融合计算，得到特征融合结果；对所述特征融合结果进行拟合，得到所述综合特征。
在一实施例中，所述根据所述热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到所述热成像视频的视频特征的步骤，包括：根据所述热成像视频的时序特征确定所述热成像视频中各帧热成像图像的时序；将所述各帧热成像图像的综合特征基于所述时序进行关联，得到所述热成像视频的视频特征。
在一实施例中，所述将所述各帧热成像图像的综合特征基于所述时序进行关联，得到所述热成像视频的视频特征的步骤，包括：提取所述热成像视频中的多帧热成像图像；基于所述多帧热成像图像的时序对所述多帧热成像图像对应的综合特征进行分析，得到所述热成像视频的视频特征。
本申请第二方面提供了一种基于热成像视频的特征提取装置，包括：温度特征提取模块，用于提取所述热成像视频中热成像图像的温度特征；图像特征确定模块，用于基于所述温度特征确定所述热成像图像的图像特征；融合模块，用于融合所述温度特征和所述图像特征，得到所述热成像图像的综合特征；时序关联模块，用于根据所述热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到所述热成像视频的视频特征。
本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述基于热成像视频的特征提取方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述基于热成像视频的特征提取方法。
上述方案，通过热成像视频中热成像图像提取到的温度特征确定热成像图像的图像特征，将温度特征和图像特征进行融合，得到热成像图像的综合特征，基于热成像视频的时序特征将各热成像图像的综合特征进行时序关联，由此能够得到热成像视频的视频特征，实现对热成像视频的特征提取效率的提升。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请的基于热成像视频的特征提取方法的一示例性实施例的流程示意图；
图2是本申请中基于温度特征确定热成像图像的图像特征的流程示意图；
图3是本申请中对热成像图像进行特征提取的效果示意图；
图4是本申请的一示例性实施例示出的基于热成像视频的特征提取装置的框图；
图5是本申请电子设备一实施例的结构示意图；
图6是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请的基于热成像视频的特征提取方法的一示例性实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S110，提取热成像视频中热成像图像的温度特征。
温度特征包括温度值，可以以特征图或特征向量的形式表示，能够理解的是，自然界中只要高于绝对零度(-273℃)的物体，都会不断向外辐射红外线，热成像通过光学系统、红外探测器芯片及电子处理系统，将物体表面红外辐射转换成可见图像，简单来说，热成像原理就是利用温度成像，将物体发出的不可见红外能量转变为可见的热成像图像，热成像图像中的像素可以表征被测的目标对象的温度值。
示例性地说明，热成像视频中每帧热成像图像的温度特征是分别提取的，即通常情况下各帧热成像图像的温度特征应当不完全相同，每帧热成像图像都有其对应的温度特征，提取热成像图像的温度特征的过程可以是在每个热成像图像中提取所有像素的温度特征，还可以是对每个热成像图像进行图像处理，提取图像处理后的热成像图像的温度特征；进一步地，图像处理的方式包括但不限于对热成像图像进行缩放和归一化等操作，以消除图像数据中的尺度差异，使提取到的特征更加稳定；还能是采用双边滤波、非局部均值滤波等方式对热成像图像进行降噪，进而提高特征提取的准确性。
步骤S120，基于温度特征确定热成像图像的图像特征。
图像特征指的是热成像图像表征出的可见特征，通过图像特征可以分析热成像图像中的目标对象，例如通过热成像图像的图像特征可以确定目标对象的大小、形状和类型等。
需要说明的是，通常情况下热成像图像中各对象的温度应当是不同的，因此可以通过表征各对象温度值的热成像图像的温度特征来确定各对象之间的边界或边缘等图像特征。
步骤S130：融合温度特征和图像特征，得到热成像图像的综合特征。
综合特征表征了将热成像图像的多尺度特征进行整合后的特征。
示例性地说明，融合温度特征和图像特征的方法包括但不限于将温度特征和图像特征进行特征拼接，或是基于温度特征和图像特征进行加权求和等方式，将热成像图像的温度特征和图像进行特征融合可以有效整合热成像视频中不同尺度和形态的特征，进而提高对热成像视频的分析效率，还提高了提取热成像视频特征的模型性能。
步骤S140，根据热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到热成像视频的视频特征。
时序特征表征了热成像视频中各热成像图像的时序，每帧热成像图像在热成像视频的时间轴上都有对应的时刻，即各热成像图像按一定的时序或帧序列进行排列，形成了热成像视频。
视频特征表征了热成像视频所体现的特征信息，利用深度学习等技术对视频特征进行处理，可以分析出热成像视频中的内容或对象。
可以理解的是，热成像图像随着热成像视频的时间轴进行变换，相当于热成像视频的视频特征也随时间轴变化，因此将各热成像图像的综合特征按时序进行关联，则能得到热成像视频的视频特征的变化过程，以实现对热成像视频进行动态分析，从而提高热成像视频特征提取模型在检测和识别过程中的准确性和鲁棒性。
可以看出，本申请通过热成像视频中热成像图像提取到的温度特征确定热成像图像的图像特征，将温度特征和图像特征进行融合，得到热成像图像的综合特征，基于热成像视频的时序特征将各热成像图像的综合特征进行时序关联，由此能够得到热成像视频的视频特征，实现对热成像视频的特征提取效率的提升。
在上述实施例的基础上，本申请实施例采用图2所示的流程图详细阐述基于温度特征确定热成像图像的图像特征的步骤，图像特征包括空间特征和语义特征。具体而言，本实施例方法包括以下步骤：
步骤S210，根据温度特征确定热成像图像中的空间信息。
空间信息指的是热成像图像在空间维度所表征的信息，例如通过空间信息可以知道目标对象在热成像图像中占据的空间、区域，相当于可以通过温度特征确定热成像图像中目标对象的边缘、角点等空间信息。
结合前述实施例可知，热成像图像通过温度反映图像中的内容，可以理解的是，由于不同对象的温度值不同，在热成像图像中表征为明暗区域不同或像素值不同，因此，可以根据温度特征确定热成像图像中的如边缘信息、角点信息等空间信息。
步骤S220，对空间信息进行特征提取，得到空间特征。
空间特征指的是根据空间信息得到的特征，例如对热成像图像进行边缘检测、特征提取，得到边缘的边缘特征；对热成像图像进行角点检测、特征提取，得到角点的角点特征。
示例性地，可参考图3，图3为本申请中对热成像图像进行特征提取的效果示意图，可以将热成像图像输入预先训练好的特征提取神经网络，得到特征提取神经网络输出的边缘特征和角点特征，可以见得，通过对如边缘特征、角点特征等空间特征的提取，得到了更丰富的图像特征，为后续对热成像图像的处理过程提供了更丰富的信息。
步骤S230，对热成像图像进行语义特征提取，得到语义特征。
语义特征指的是热成像图像中的各物体在热成像图像中表征出的类别、纹理或颜色等一系列高级特征，通过对语义特征进行分析能够识别出热成像图像中各对象的属性信息，语义特征是深度学习技术中的常用的参数变量，在此不再赘述。
具体地，提取热成像图像的语义特征的方法可以是通过如标准卷积层、可变形卷积层、自适应局部模式卷积层等卷积层从热成像图像进行特征提取；还需说明的是，提取热成像图像的语义特征过程中，还可以结合热成像图像和热成像图像空间特征进行语义特征提取，得到热成像图像的语义特征。
在上述实施例的基础上，同理可得到根据温度特征确定热成像图像中的空间信息；以及，对空间信息进行特征提取，得到空间特征的步骤。
其中，具体步骤包括：
根据温度特征检测热成像图像中的空间信息，空间信息包括边缘和角点；基于热成像图像的边缘和角点分别进行特征提取，得到空间特征，空间特征包括边缘特征和角点特征。
示例性地，以边缘为例，通过热成像图像的温度特征，识别热成像图像中明暗变化较大的区域，相当于识别热成像图像中对象的边缘或边界；具体地，基于温度特征对这些边缘进行边缘检测、特征提取，其过程可以包括基于热成像图像的温度特征向量进行梯度计算，如使用Sobel、Prewitt等梯度算子计算图像的水平和垂直梯度分量，将这些分量合并为梯度幅值和方向；沿着梯度方向，检查每个像素的邻域，如果当前像素的梯度幅值比其邻域内的其他像素大，则保留该像素；否则，将当前像素的像素值设置为零，进而实现非极大值抑制的效果；为了确定最终的边缘像素，还需要对非极大值抑制后的图像进行双阈值处理，具体为选择预设的两个阈值(高阈值和低阈值)，并将非极大值抑制后的图像中的像素分为三类：强边缘像素(大于高阈值)、弱边缘像素(小于或等于高阈值且大于或等于低阈值)和非边缘像素(小于低阈值)，其中，强边缘像素可以被确定是明确的边缘点，而弱边缘像素需要更进一步进行识别和检测，通过检测弱边缘像素的邻域，如果其邻域内存在强边缘像素，则将该弱边缘像素保留为边缘像素；否则，将其设置为非边缘像素，由此，通过热成像图像的温度特征确定热成像图像中的边缘特征，这些边缘特征也相当于热成像图像中各对象的边缘特征，并能进一步地从中提取出目标对象的边缘特征，例如选取与人体温度匹配的温度特征所对应的边缘特征等方式。
以角点为例，对角点进行特征提取和上述边缘特征提取的过程类似，同样需要进行梯度计算；然后对于每个像素的梯度分量计算每个像素对应的二阶自相关矩阵，该矩阵用于描述了热成像图像在该像素点附近的局部结构信息；再基于每个像素对应的二阶自相关矩阵计算每个像素的角点响应值，每个像素的角点响应值表征了热成像图像中各像素点附近的角点特性强度，进而判断该点是否可能是角点，其中，角点响应计算方法可以采用Harris响应和Shi-Tomasi响应；再基于每个像素的角点响应值进行非极大值抑制；对非极大值抑制后的像素点进行阈值筛选，确定其中的角点，阈值筛选可以是将非极大值抑制后的像素点的角点响应值和预设的角点阈值进行对比，获取角点响应值大于角点阈值的经过非极大值抑制后的像素点作为角点。
进一步地，在将热成像图像中的边缘特征和角点特征检测出来后，还可以分别输出边缘图像和角点图像，这两类图像可以独立地用于后续处理步骤，也可以将它们组合起来形成一个更丰富的特征表示，例如：可以将边缘图像和角点图像叠加在一起，得到一个包含边缘和角点信息的二值图像。此二值图像可以作为背景消除层的输入数据，用于背景消除，进一步提取目标对象的信息。
在上述实施例的基础上，同理可得到在根据温度特征检测热成像图像中的空间信息的步骤之后，还包括：基于边缘对应的边缘像素和角点对应的角点像素对热成像图像中的像素进行二值化标记；对二值化标记后的热成像图像进行背景消除，得到二值化标记后的热成像图像的前景，前景包括目标对象；对目标对象进行语义特征提取，得到语义特征。
具体地，在检测到热成像图像中的边缘和角点后，将热成像图像中的边缘像素和角点像素标记为1，非边缘像素和非角点像素标记为0，得到二值化标记后的热成像图像；将二值化标记后的热成像图像输入预设的背景消除层进行背景消除，得到热成像图像前景中的目标对象；提取目标对象的语义特征。
进一步地，将二值化标记后的热成像图像输入预设的背景消除层进行背景消除的过程中，为二值化标记后的热成像图像的每个像素点初始化一个混合高斯模型，该模型由多个高斯分布组成，每个高斯分布代表该像素点可能的像素值，其中，初始的高斯分布的参数(如均值、方差和权重)可以随机设置或根据输入数据的信息进行预设；随着热成像视频时间轴的时间进度，每实时获取到新一帧热成像图像，则根据新新一帧热成像图像更新每个像素点位置的混合高斯模型，其中，更新过程可以是对于每个新像素点的像素值，找到其最接近的高斯分布，并更新该分布的参数，使其逐渐适应新的像素值，同时，根据输入数据的动态性调整各高斯分布的权重；计算该像素点的像素值与各高斯分布的差异，然后选择具有最小差异且差异小于预设阈值的高斯分布对应的像素，将其确定为背景像素，否则，将其视为前景像素，进而实现基于混合高斯模型，区分各像素点区属于背景或前景；将属于背景的像素点的像素值设置为0，得到仅包含前景的二值图像，即背景消除后的热成像图像，相当于得到热成像图像前景中的目标对象。
更进一步地，为了降低数据处理过程的复杂度，还可以在神经网络中添加池化层对背景消除后的热成像图像进行池化，实现对图像的尺度不变性，例如采用空间金字塔池化层，具体地，空间金字塔池化层接收来自背景消除层输出的二值图像，可以理解的是，此时的二值图像的背景像素已被大幅消除，空间金字塔池化层提取图像在多尺度下的特征表示，以便在后续处理阶段能更好地关注目标对象，而空间金字塔池化层的层级决定了池化操作的粒度，会影响了特征提取的效果，在选择合适数量的金字塔层级时需要综合考虑计算复杂度和特征表示能力，通常可以从一级金字塔开始，逐渐增加层级，通过不断对神经网络进行训练和实验，得到效果最佳的目标层级，例如，一个常见的选择是使用3级金字塔，分别对应1x1、2x2和4x4区域，在选择金字塔层级时，也可以参考现有文献中的实验结果和经验指导，在此不再赘述；空间金字塔池化层会将接收到的图像按照金字塔层级进行区域划分，区域划分需要保证每个区域内的像素数量尽可能均匀分布，以避免在池化操作中引入额外的偏差，且对于每一层级，可以将特征图划分为相等的子区域，子区域的数量等于层级的平方，例如，对于2x2层级，将特征图划分为4个相等的子区域，在实际应用中，可以采用多种区域划分策略，如均匀划分、基于图像分割的划分等，以适应不同的应用场景和特征要求；在每个子区域内执行池化操作，提取特征，具体地，池化操作可以是最大池化或平均池化，其中，最大池化是提取区域内的最大值，具有更强的鲁棒性和抗噪声能力；而平均池化则计算区域内的平均值，能够保留更多的上下文信息，在选择池化操作时，可以根据实际任务的特点和需求进行权衡，例如，对于目标检测任务，最大池化可能更适合捕获目标的显著特征；而对于场景分类任务，平均池化可能更能反映图像的整体特征分布，值得注意的是，也可以结合最大池化和平均池化的优点，采用混合池化策略，以实现更好的特征提取效果；将不同层级对应的区域的特征向量串联合并起来，形成统一的特征表示，在合并过程中需要注意特征向量的顺序和对齐问题，确保特征的空间结构和语义关系得到保留，示例性地，可以将特征向量按照金字塔层级的顺序依次串联，例如，对于一个3级金字塔，可以首先将1x1层级的特征向量与2x2层级的特征向量串联，然后将得到的结果与4x4层级的特征向量串联，这样的合并策略能够保留不同层级特征之间的空间关系，同时实现了特征的多尺度融合；最后将合并后的特征向量输出至后续的卷积层中，以使后续的卷积层能够通过该特征向量提取更高级的特征表示，即语义特征。
还需说明的是，从热成像图像中提取语义特征的卷积层可以包括但不限于标准卷积层、可变形卷积层、非局部模块卷积层以及自适应局部模式卷积层中的一种或多种；以非局部模块卷积层(Non-local Block，ML-Block)为例，非局部模块卷积层是一种深度学习中用于捕捉长距离依赖关系的模块，因此适合用于视频识别任务，可以理解的是，对于一个视频中时序相近的图像之间，其相似的图像区域应具有相似的特征，而一个像素点的特征可以依赖于与它相似的像素点，非局部操作通过对特征图上的所有像素点进行加权求和来建立这种依赖关系，将其应用到热成像视频中实现过程包括通过如线性映射、卷积和全连接等嵌入函数，基于目标像素点和相似像素点将热成像图像的特征图转换成一种易于计算相似度的形式，得到至少两个嵌入特征图；再通过如点积、L2范数和余弦相似度等方法计算嵌入特征图之间的相似度，得到相似度矩阵；对相似度矩阵进行归一化操作，使得后续加权求和的结果具有合理的范围；根据相似度计算结果对输入特征图进行加权求和，得到输出特征图；输出特征图还可以传递给自适应局部模式卷积层，进一步提取图像特征。
结合上述内容，再以自适应局部模式卷积层为例，自适应局部模式卷积层接收到上一神经网络层提供的特征图后，在该特征图上执行局部卷积操作，以捕获更精细的局部结构，这可以通过使用较小的卷积核(如3x3或5x5)来实现，从而有效地提取图像中的高频细节；将提取到的局部结构信息转化为动态卷积核参数，这可以通过使用生成网络实现，该生成网络可以是全连接层、卷积层或其他可学习的映射函数，生成网络接收局部结构信息作为输入，并输出相应的卷积核参数；具有动态生成的卷积核参数后，将其应用于输入特征图进行卷积操作，此步骤与传统卷积操作相似，但卷积核参数是根据输入特征图的局部结构动态生成的，从而实现对不同特征的自适应提取；在完成卷积操作后，将结果传递给下一层以进行进一步处理，此步骤可以包括激活函数、批量归一化和池化操作等，以提高模型的非线性表达能力和鲁棒性；可以见得自适应局部模式卷积通过动态生成卷积核参数，实现对输入特征图中不同特征的自适应提取，这种方法在特征提取过程中具有更强的灵活性和适应性，能够提高模型在处理复杂图像任务时的性能。
在上述实施例的基础上，本实施例对提取热成像视频中热成像图像的温度特征的步骤进行示例性地说明。具体而言，包括：对热成像图像进行温度识别，得到热成像图像中各像素点对应的温度值；基于温度值进行温度编码，得到热成像图像的温度特征的温度特征向量。
具体地，可以在神经网络中设置温度感知层，温度感知层基于接收到的热成像图像提取图像中每个像素点对应的温度值；利用独热编码将每个温度值转换为一个只有一个元素为1的特征向量，或利用温度分区编码根据温度范围将温度值划分为若干区间，每个区间对应一个特征向量；利用卷积神经网络(CNN)或其他深度学习模型学习热成像数据中的温度特征；再将温度特征向量进行输出。
进一步需要说明的是，在将热成像图像输入温度感知层之前，还可以对热成像图像进行预处理，将视频数据解码为内存中的数值矩阵，这些数值矩阵通常具有与热成像数据相同的空间分辨率和通道数；对数值矩阵进行缩放和归一化操作，其中，缩放操作可以通过插值方法(如双线性插值、双三次插值等)将矩阵调整为指定的尺寸，从而消除数据中的尺度差异，归一化操作则将矩阵中的数值范围调整为一个标准区间(如[0，1]或[-1，1])，以便于后续特征提取算法的处理；采用如双边滤波、非局部均值滤波、总变分降噪等降噪方法进行处理，在保持图像细节的同时去除噪声，从而提高特征提取的准确性；还可以对热成像数据进行色彩空间转换(如从RGB空间转换为Lab空间)、直方图均衡化以提高图像对比度等，使热成像数据被转换为适用于特征提取和分类任务的形式；最后将预处理后的数据作为二维的热成像数据张量传递给温度感知层的神经网络结构。
在上述实施例的基础上，本实施例对基于温度特征确定热成像图像的图像特征；融合温度特征和图像特征，得到热成像图像的综合特征的步骤进行示例性地说明。具体而言，包括：基于温度特征的温度特征向量，提取热成像图像的图像特征的图像特征向量；将温度特征向量和图像特征向量进行融合计算，得到特征融合结果；对特征融合结果进行拟合，得到综合特征。
结合前述实施例进行说明，基于温度特征向量提取热成像图像的图像特征向量，相当于基于热成像图像表征出的温度信息来协助神经网络确定边缘和角点等信息的特征，而这些特征属于热成像图形的局部特征，能够加强神经网络对热成像图像细节和结构的理解程度。
还需说明的是，特征融合过程中包括将特征图展平(flatten)成特征向量，或者对特征图应用全局平均池化或全局最大池化等操作以产生特征向量；然后将这些特征向量进行拼接(concatenated)或者通过其他方式(如加权求和等)融合在一起，得到特征融合结果；将特征融合结果输入全连接层进行进一步地拟合处理，得到全连接层输出的综合特征。
在上述实施例的基础上，本实施例对根据热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到热成像视频的视频特征的步骤进行示例性地说明。具体而言，包括：
根据热成像视频的时序特征确定热成像视频中各帧热成像图像的时序；将各帧热成像图像的综合特征基于时序进行关联，得到热成像视频的视频特征。
需要说明的是，在提取热成像视频特征的过程中，除了考虑每一帧热成像图像的内容，还需要考虑帧与帧之间的时序关系，因此，通常会在提取了温度特征、空间特征和语义特征之后，利用循环神经网络(RNN)等工具来提取时序特征，这些时序特征可以帮助我们理解视频的动态变化，即每帧热成像图像随着热成像视频的时序特征进行变化。
示例性地，提取时序特征的方法可以是使用循环神经网络(Recurrent NeuralNetworks，RNN)及其变体，如长短期记忆网络(Long Short-Term Memory，LSTM)或门控循环单元(Gated Recurrent Unit，GRU)等，这些神经网络可以处理序列数据，记忆历史信息，并在处理当前输入时考虑这些历史信息；但传统的RNN在实际应用中存在梯度消失和梯度爆炸的问题，使得网络难以捕获长距离的时序依赖关系，为了解决这个问题，LSTM和GRU引入了门控机制，使得网络可以选择性地记忆或遗忘历史信息，从而更有效地捕获长距离的时序依赖关系，具体而言，LSTM网络包括一个或多个LSTM单元，每个单元由一个输入门、一个遗忘门和一个输出门组成，输入门控制新的输入信息的流入，遗忘门控制历史信息的遗忘，输出门控制信息的输出，通过这种门控机制，LSTM可以在处理序列数据时，根据数据的实际情况，动态地调整信息的传递和遗忘；可以见得，通过本申请将热成像视频处于不同时间尺度和空间尺度的特征进行综合分析，使得整个热成像视频特征提取模型能够在热成像视频中捕捉到各种复杂的温度分布和动态变化，从而提高特征提取的准确性和鲁棒性。
同理可知，在上述实施例的基础上，本实施例对将各帧热成像图像的综合特征基于时序进行关联，得到热成像视频的视频特征的步骤进行示例性地说明。具体而言，包括：提取热成像视频中的多帧热成像图像；基于多帧热成像图像的时序对多帧热成像图像对应的综合特征进行分析，得到热成像视频的视频特征。
结合前述实施例进行说明，时序信息在处理视频数据时尤其重要，因为它可以捕获图像序列中的动态变化和时间依赖性，比如，在动作识别、行为分析、物体跟踪等任务中，单纯从每一帧图像提取的特征往往难以捕获完整的动态信息，此时就需要考虑多帧图像的时序，通过捕获时序信息来增强模型的识别能力，其中，提取热成像视频中的多帧热成像图像可以是逐帧获取热成像视频中的所有帧热成像图像，也可以是提取热成像视频中的部分帧热成像图像，在此不做限定；对于综合特征的置信度低于预设的置信阈值的热成像图像，可以将这些热成像图像进行筛除，以避免对整个热成像视频的视频特征进行分析时产生偏差干扰。
进一步地，对于热成像视频而言，则能够在热成像视频处理过程中，基于时序信息和多帧热成像图像反映出物体的动态温度变化，例如通过本申请的方法获取到的热成像视频的视频特征，可以识别出热成像视频中目标对象的活动或行为，以及对象的热量分布模式、动态温度变化模式等。
可以看出，本申请通过热成像视频中热成像图像提取到的温度特征确定热成像图像的图像特征，将温度特征和图像特征进行融合，得到热成像图像的综合特征，基于热成像视频的时序特征将各热成像图像的综合特征进行时序关联，由此能够得到热成像视频的视频特征，实现对热成像视频的特征提取效率的提升。
进一步需要说明的是，基于热成像视频的特征提取方法的执行主体可以是基于热成像视频的特征提取装置，例如，基于热成像视频的特征提取方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、电脑、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该基于热成像视频的特征提取方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图4是本申请的一示例性实施例示出的基于热成像视频的特征提取装置的框图。如图4所示，该示例性的基于热成像视频的特征提取装置400包括：温度特征提取模块410、图像特征确定模块420、融合模块430和时序关联模块440。具体地：
温度特征提取模块410，用于提取热成像视频中热成像图像的温度特征。
图像特征确定模块420，用于基于温度特征确定热成像图像的图像特征。
融合模块430，用于融合温度特征和图像特征，得到热成像图像的综合特征。
时序关联模块440，用于根据热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到热成像视频的视频特征。
在该示例性的基于热成像视频的特征提取装置中，通过热成像视频中热成像图像提取到的温度特征确定热成像图像的图像特征，将温度特征和图像特征进行融合，得到热成像图像的综合特征，基于热成像视频的时序特征将各热成像图像的综合特征进行时序关联，由此能够得到热成像视频的视频特征，实现对热成像视频的特征提取效率的提升。
其中，各个模块的功能可参见基于热成像视频的特征提取方法实施例，此处不再赘述。
请参阅图5，图5是本申请电子设备一实施例的结构示意图。电子设备500包括存储器501和处理器502，处理器502用于执行存储器501中存储的程序指令，以实现上述任一基于热成像视频的特征提取方法实施例中的步骤。在一个具体的实施场景中，电子设备500可以包括但不限于：微型计算机、服务器，此外，电子设备500还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器502用于控制其自身以及存储器501以实现上述任一基于热成像视频的特征提取方法实施例中的步骤。处理器502还可以称为CPU(Central ProcessingUnit，中央处理单元)。处理器502可能是一种集成电路芯片，具有信号的处理能力。处理器502还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器502可以由集成电路芯片共同实现。
上述方案，通过热成像视频中热成像图像提取到的温度特征确定热成像图像的图像特征，将温度特征和图像特征进行融合，得到热成像图像的综合特征，基于热成像视频的时序特征将各热成像图像的综合特征进行时序关联，由此能够得到热成像视频的视频特征，实现对热成像视频的特征提取效率的提升。
请参阅图6，图6是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质610存储有能够被处理器运行的程序指令611，程序指令611用于实现上述任一基于热成像视频的特征提取方法实施例中的步骤。
上述方案，通过热成像视频中热成像图像提取到的温度特征确定热成像图像的图像特征，将温度特征和图像特征进行融合，得到热成像图像的综合特征，基于热成像视频的时序特征将各热成像图像的综合特征进行时序关联，由此能够得到热成像视频的视频特征，实现对热成像视频的特征提取效率的提升。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于热成像视频的特征提取方法，其特征在于，所述方法包括：
提取所述热成像视频中热成像图像的温度特征；
基于所述温度特征确定所述热成像图像的图像特征；
融合所述温度特征和所述图像特征，得到所述热成像图像的综合特征；
根据所述热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到所述热成像视频的视频特征。
2.根据权利要求1所述的方法，其特征在于，所述图像特征包括空间特征和语义特征，所述基于所述温度特征确定所述热成像图像的图像特征的步骤，包括：
根据所述温度特征确定所述热成像图像中的空间信息；
对所述空间信息进行特征提取，得到所述空间特征；
对所述热成像图像进行语义特征提取，得到所述语义特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述温度特征确定所述热成像图像中的空间信息；对所述空间信息进行特征提取，得到所述空间特征的步骤，包括：
根据所述温度特征检测所述热成像图像中的所述空间信息，所述空间信息包括边缘和角点；
基于所述热成像图像的边缘和角点分别进行特征提取，得到所述空间特征，所述空间特征包括边缘特征和角点特征。
4.根据权利要求3所述的方法，其特征在于，在所述根据所述温度特征检测所述热成像图像中的所述空间信息的步骤之后，所述方法还包括：
基于所述边缘对应的边缘像素和所述角点对应的角点像素对所述热成像图像中的像素进行二值化标记；
对二值化标记后的热成像图像进行背景消除，得到所述二值化标记后的热成像图像的前景，所述前景包括目标对象；
对所述目标对象进行语义特征提取，得到所述语义特征。
5.根据权利要求1所述的方法，其特征在于，所述提取所述热成像视频中热成像图像的温度特征的步骤，包括：
对所述热成像图像进行温度识别，得到所述热成像图像中各像素点对应的温度值；
基于所述温度值进行温度编码，得到所述热成像图像的温度特征的温度特征向量。
6.根据权利要求5所述的方法，其特征在于，所述基于所述温度特征确定所述热成像图像的图像特征；融合所述温度特征和所述图像特征，得到所述热成像图像的综合特征的步骤，包括：
基于所述温度特征的所述温度特征向量，提取所述热成像图像的图像特征的图像特征向量；
将所述温度特征向量和所述图像特征向量进行融合计算，得到特征融合结果；
对所述特征融合结果进行拟合，得到所述综合特征。
7.根据权利要求1所述的方法，其特征在于，所述根据所述热成像视频的时序特征，将各热成像图像的综合特征进行时序关联，得到所述热成像视频的视频特征的步骤，包括：
根据所述热成像视频的时序特征确定所述热成像视频中各帧热成像图像的时序；
将所述各帧热成像图像的综合特征基于所述时序进行关联，得到所述热成像视频的视频特征。
8.根据权利要求7所述的方法，其特征在于，所述将所述各帧热成像图像的综合特征基于所述时序进行关联，得到所述热成像视频的视频特征的步骤，包括：
提取所述热成像视频中的多帧热成像图像；
基于所述多帧热成像图像的时序对所述多帧热成像图像对应的综合特征进行分析，得到所述热成像视频的视频特征。
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8任一项所述的方法。
CN202310746203.4A 2023-06-21 2023-06-21 基于热成像视频的特征提取方法、设备以及存储介质 Pending CN116958863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310746203.4A CN116958863A (zh) 2023-06-21 2023-06-21 基于热成像视频的特征提取方法、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310746203.4A CN116958863A (zh) 2023-06-21 2023-06-21 基于热成像视频的特征提取方法、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116958863A true CN116958863A (zh) 2023-10-27

Family

ID=88455654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310746203.4A Pending CN116958863A (zh) 2023-06-21 2023-06-21 基于热成像视频的特征提取方法、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116958863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576099A (zh) * 2024-01-16 2024-02-20 季华实验室 液体隔瓶检测方法、装置及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576099A (zh) * 2024-01-16 2024-02-20 季华实验室 液体隔瓶检测方法、装置及计算机可读存储介质
CN117576099B (zh) * 2024-01-16 2024-05-10 季华实验室 液体隔瓶检测方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107766786B (zh) 活性测试方法和活性测试计算设备
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
Kuang et al. Nighttime vehicle detection based on bio-inspired image enhancement and weighted score-level feature fusion
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
KR100608595B1 (ko) 얼굴 인식 방법 및 장치
US8103058B2 (en) Detecting and tracking objects in digital images
CN110852160A (zh) 以图像为基准的生物识别系统及计算机实施方法
Ramirez-Quintana et al. Self-adaptive SOM-CNN neural system for dynamic object detection in normal and complex scenarios
US9047673B2 (en) Apparatus and method for extracting target, and recording medium storing program for performing the method
Ishikura et al. Saliency detection based on multiscale extrema of local perceptual color differences
CN109816694B (zh) 目标跟踪方法、装置及电子设备
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN107256543B (zh) 图像处理方法、装置、电子设备及存储介质
Huynh-The et al. NIC: A robust background extraction algorithm for foreground detection in dynamic scenes
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN112464690A (zh) 活体识别方法、装置、电子设备及可读存储介质
CN116958863A (zh) 基于热成像视频的特征提取方法、设备以及存储介质
Nguyen et al. Face presentation attack detection based on a statistical model of image noise
Khan et al. Robust head detection in complex videos using two-stage deep convolution framework
CN112926667B (zh) 深度融合边缘与高层特征的显著性目标检测方法及装置
CN113221842A (zh) 模型训练方法、图像识别方法、装置、设备及介质
Soumya et al. Self-organized night video enhancement for surveillance systems
JP2019220174A (ja) 人工ニューラルネットワークを用いた画像処理
KR102500516B1 (ko) 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법
Manasa et al. Differential evolution evolved RBFNN based automated recognition of traffic sign images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination