CN112418200B - 基于热成像的对象检测方法、装置及服务器 - Google Patents

基于热成像的对象检测方法、装置及服务器 Download PDF

Info

Publication number
CN112418200B
CN112418200B CN202110093543.2A CN202110093543A CN112418200B CN 112418200 B CN112418200 B CN 112418200B CN 202110093543 A CN202110093543 A CN 202110093543A CN 112418200 B CN112418200 B CN 112418200B
Authority
CN
China
Prior art keywords
alarm
information
feature
fusion
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110093543.2A
Other languages
English (en)
Other versions
CN112418200A (zh
Inventor
文丁
季翔宇
李源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Zhiyun Technology Co ltd
Chengdu Dianze Intelligent Technology Co ltd
Original Assignee
Zhongke Zhiyun Technology Co ltd
Chengdu Dianze Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Zhiyun Technology Co ltd, Chengdu Dianze Intelligent Technology Co ltd filed Critical Zhongke Zhiyun Technology Co ltd
Priority to CN202110093543.2A priority Critical patent/CN112418200B/zh
Publication of CN112418200A publication Critical patent/CN112418200A/zh
Application granted granted Critical
Publication of CN112418200B publication Critical patent/CN112418200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种基于热成像的对象检测方法、装置及服务器，具体通过获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列，对第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列，从而根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第三连续帧数据序列进行对象检测，获得对象检测信息。如此，对于红外热成像的图像帧中不同目标类别的检测对象，在进行对象检测过程中根据每个目标类别所对应的对象检测策略进行区分检测，进而提高检测效果。

Description

基于热成像的对象检测方法、装置及服务器
技术领域
本申请涉及安防监控技术领域，具体而言，涉及一种基于热成像的对象检测方法、装置及服务器。
背景技术
红外热成像基于物体辐射的热源而成像，不受光线影响，能够24小时值守，在安防安检领域周界入侵、跟踪、侦测等应用场景发挥着不可替代的作用。
相关技术中，对于红外热成像的图像帧中不同大小的检测对象，在进行对象检测过程中没有进行区分检测，导致检测效果不佳。
发明内容
基于现有设计的不足，本申请提供一种基于热成像的对象检测方法、装置及服务器，对于红外热成像的图像帧中不同目标类别的检测对象，在进行对象检测过程中根据每个目标类别所对应的对象检测策略进行区分检测，进而提高检测效果。
根据本申请的第一方面，提供一种基于热成像的对象检测方法，应用于服务器，所述方法包括：
获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列；
对所述第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列，其中，不同目标类别用于表征不同的检测目标区域大小；
根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息。
在第一方面的一种可能的实施方式中，所述获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列的步骤，包括：
提取所述第一连续帧数据序列中的每一帧目标图像的第一特征点集；
从所述目标图像的相邻帧图像中获取具有所述第一特征点集的相同特征的第二特征点集；
计算所述第一特征点集和所述第二特征点集之间的特征偏移量；
当所述特征偏移量小于预设偏移量阈值时，将所述目标图像和所述目标图像的相邻帧图像确定为满足对象检测的图像对；
若所述满足对象检测的图像对大于预设数量阈值，则将所述第一连续帧数据序列确定为满足对象检测的第二连续帧数据序列；
若所述满足对象检测的图像对不大于预设数量阈值，则将所述第一连续帧数据序列确定为不满足对象检测的第二连续帧数据序列并将所述第一连续帧数据序列进行过滤。
在第一方面的一种可能的实施方式中，所述对所述第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列的步骤，包括：
根据目标深度学习模型对所述第二连续帧数据序列中的每帧数据进行分类，获得所述每帧数据中的检测目标区域属于每个目标类别的置信度；
根据所述每帧数据中的检测目标区域属于每个目标类别的置信度，确定所述每帧数据的选定目标类别；
将所述第二连续帧数据序列中最多数量的目标类别，确定为所述第二连续帧数据序列的选定目标类别，得到不同目标类别对应的第二连续帧数据序列。
在第一方面的一种可能的实施方式中，所述目标类别包括大目标类别和小目标类别，所述根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息的步骤，包括：
针对大目标类别对应的第二连续帧数据序列，将所述第二连续帧数据序列中的当前帧与背景参考模型进行比较，根据比较结果获得所述第二连续帧数据序列中的每个运动对象的位置信息，并基于卡尔曼滤波算法和匈牙利算法对所述第二连续帧数据序列中的每个运动对象的位置信息进行跟踪，获得每个运动对象的对象运动轨迹，当所述对象运动轨迹的移动轨迹点数量超过预设数量阈值时，将当前帧输入到目标检测模型中，进行对象检测，获得对象检测信息；
针对小目标类别对应的第二连续帧数据序列，基于稀疏光流跟踪算法得到所述第二连续帧数据序列中的每个运动对象的对象运动轨迹，当所述对象运动轨迹的移动轨迹点数量超过预设数量阈值时，确定所述每个运动对象的坐标点，并以所述坐标点为中心点截取预设半径范围内的目标图像区域后，根据预设人形配置参数对所述目标图像区域进行检测，获得对象检测信息。
在第一方面的一种可能的实施方式中，所述方法还包括：
将所述对象检测信息与预设先验框的先验框信息进行比较，并根据比较结果判断所述对象检测信息对应的运动对象是否入侵所述预设先验框的区域；
当所述对象检测信息对应的运动对象入侵所述预设先验框的区域时，将所述对象检测信息中所述运动对象的对象坐标作为报警点坐标与所述预设先验框的区域进行关联，获得报警关联结果。
在第一方面的一种可能的实施方式中，所述方法还包括：
根据获得的所有报警关联结果确定所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息；
基于所述所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型。
在第一方面的一种可能的实施方式中，所述基于所述所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型的步骤，包括：
根据所述历史报警信息的报警确认标签信息获取所述所有运动对象的历史报警信息对应的历史报警确认信息，将所述历史报警确认信息输入到报警决策模型的特征提取单元中，以对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息；所述报警决策模型包括所述特征提取单元和分类单元；
将所述报警特征学习信息输入到所述分类单元中，以对所述报警特征学习信息的学习数据段进行分类决策得到所述报警特征学习信息的决策分类结果；
根据所述报警特征学习信息的决策分类结果，对所述特征提取单元和所述分类单元进行权重调整，直至所述特征提取单元和所述分类单元更新结束，得到已训练的目标报警决策模型。
在第一方面的一种可能的实施方式中，所述对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息的步骤，包括：
对所述历史报警确认信息进行特征学习；
根据已学习的报警确认特征信息得到报警确认差异特征分布；
根据所述报警确认差异特征分布生成所述报警特征学习信息；
其中，所述历史报警确认信息包括报警确认时序向量矩阵和报警确认空序向量矩阵；
所述对所述历史报警确认信息进行特征学习，根据已学习的报警确认特征信息得到报警确认差异特征分布，根据所述报警确认差异特征分布生成所述报警特征学习信息的步骤，包括：
将所述报警确认时序向量矩阵和所述报警确认空序向量矩阵输入到有向图模型中，以通过所述有向图模型进行特征学习，并根据学习的报警确认特征信息确定所述有向图模型的有向图节点的有向图特征分布；
根据所述有向图节点的有向图特征分布生成所述报警确认差异特征分布；
将所述报警确认空序向量矩阵和所述报警确认差异特征分布进行融合；
根据融合得到的报警确认空序向量矩阵生成所述报警特征学习信息；
其中，所述历史报警信息为至少两个周期的历史报警信息，每个周期的历史报警信息均对应有历史报警确认信息；
所述根据所述历史报警信息的报警确认标签信息获取所述所有运动对象的历史报警信息对应的历史报警确认信息，将所述历史报警确认信息输入到报警决策模型的特征提取单元中，以对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息，包括：
依次将各个周期的历史报警确认信息输入到所述特征提取单元中，以生成各个周期的报警特征学习信息；
所述根据所述报警特征学习信息的决策分类结果，对所述特征提取单元和所述分类单元进行权重调整，包括：
根据所述各个周期的报警特征学习信息对应的决策分类结果，对所述特征提取单元和所述分类单元进行至少两个周期的权重调整；
其中，一个周期的所述历史报警信息包括第一训练数据和第二训练数据，若所述历史报警信息为第一训练数据，所述报警特征学习信息的决策分类结果为第一分类结果，若所述历史报警信息为第二训练数据，所述报警特征学习信息的决策分类结果为第二分类结果；
对于一个周期的权重调整，所述根据所述各个周期的报警特征学习信息对应的决策分类结果，对所述特征提取单元和所述分类单元进行至少两个周期的权重调整，包括：
根据所述第一分类结果对所述特征提取单元进行权重调整，根据所述第二分类结果对所述分类单元进行权重调整。
根据本申请的第二方面，提供一种基于热成像的对象检测装置，应用于服务器，所述装置包括：
获取模块，用于获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列；
划分模块，用于对所述第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列，其中，不同目标类别用于表征不同的检测目标区域大小；
检测模块，用于根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息。
根据本申请的第三方面，提供一种服务器，包括机器可读存储介质和处理器，所述机器可读存储介质中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面或者第一方面任意一种可能的实施方式所述的基于热成像的对象检测方法。
基于上述任一方面，本申请具体通过获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列，对第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列，从而根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息。如此，对于红外热成像的图像帧中不同目标类别的检测对象，在进行对象检测过程中根据每个目标类别所对应的对象检测策略进行区分检测，进而提高检测效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的基于热成像的对象检测系统的场景示意图；
图2示出了本申请实施例所提供的基于热成像的对象检测方法的流程示意图之一；
图3示出了本申请实施例所提供的基于热成像的对象检测方法的流程示意图之二；
图4示出了本申请实施例所提供的基于热成像的对象检测方法的流程示意图之三；
图5示出了图2中所示的步骤S170的子步骤流程示意图；
图6示出了本申请实施例所提供的基于热成像的对象检测装置的功能模块示意图；
图7示出了本申请实施例所提供的用于实现上述的基于热成像的对象检测方法的服务器的结构示意框图；
10-基于热成像的对象检测系统；100-服务器；110-基于热成像的对象检测装置；111-获取模块；112-划分模块；113-检测模块；120-机器可读存储介质；130-处理器；200-红外热成像视频监控设备。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。
应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
参照图1所示，图1示出了本申请实施例提供的基于热成像的对象检测系统10的场景示意图。例如，基于热成像的对象检测系统10可以包括服务器100以及与服务器100通信连接的多个红外热成像视频监控设备200，红外热成像视频监控设备200可以用于对所监控区域进行红外热成像跟踪，从而将热成像视频流传输给服务器100进行视频流处理。
本实施例中，服务器100用于为红外热成像视频监控设备200提供后台服务。例如，服务器100可以是上述应用程序的后台服务器。服务器100可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心，可以提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务。可选地，服务器100同时为多个红外热成像视频监控设备200中的应用程序提供后台服务。
本申请实施例提供的基于热成像的对象检测方法，各步骤的执行主体可以是服务器100，也可以是红外热成像视频监控设备200(如红外热成像视频监控设备200中运行的应用程序的客户端)，还可以是由红外热成像视频监控设备200和服务器100交互配合执行。
可以理解，图1所示的基于热成像的对象检测系统10仅为一种可行的示例，在其它可行的实施例中，该基于热成像的对象检测系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
自然界中的一切物体，无论是北极冰川，还是火焰、人体，甚至极寒冷的宇宙深空，只要它们的温度高于绝对零度-273℃，都会有红外辐射，这是由于物体内部分子热运动的结果。其辐射能量正比于自身温度的四次方成正比，辐射出的波长与其温度成反比。红外成像技术就是根据探测到的物体的辐射能量的高低。经系统处理转变为目标物体的热图像，以灰度级或伪彩色显示出来，即得到被测目标的温度分布从而判断物体所处的状态。因此探测物体发射的热量的高低是红外热成像技术的与生俱来的基因。
热成像是通过非接触探测红外能量（热量），并将其转换为电信号，进而在显示器上生成热图像和温度值，并可以对温度值进行计算的一种检测设备。
相关技术中，如前述背景技术所获知的技术问题，现有的红外热成像跟踪技术主要分为两种方案：
方案A：针对远距离的海洋、天空、森林等背景下热源侦测场景，该场景下目标小，画面中干扰热源少，该部分主要用传统图像处理技术，包括基于滤波的方法、基于人类视觉系统的方法、基于视频序列的算法等。然而经过本申请发明人研究发现，方案A存在如下问题：
（1）基于滤波的计算量小，但检测效果较差，只能在一定程度上起到抑制均匀背景的作用，不能解决复杂背景的问题，且检测率低，算法的鲁棒性较差；
（2）基于人类视觉系统包括人眼视觉注意机制、亮度及对比度敏感机制等，算法实现过程涉及到滑窗、金字塔构建多尺度特征提取向量，此类算法主要利用了显著图，因此算法鲁棒性表现良好，但耗时增加，复杂场景下，处理逻辑也会变得复杂；
（3）基于视频序列的算法可引入运动信息，但在单帧图像上的处理方式仍然是在全图范围内分割小目标人形，增加耗时。
因此，方案A虽能解决简单背景下目标检测，然而在复杂场景下，完全依赖传统图像处理的方法，算法鲁棒性不高。
方案B：针对近距离的已知目标类型的侦测技术场景，该场景下，识别目标大且目标类型是提前已知的，例如街道上的人形车辆等目标的识别，该方向主要使用深度学习模型技术，深度学习处理图像时会有多次的卷积和下采样。然而经过本申请发明人研究发现，方案B存在如下问题：
（1）小目标包含信息少。卷积后提取的特征少，热成像图像相比可见光图像已缺失很多纹理、形状信息，无法通过深度网络构提取特征向量，此外，分类和回归操作在经过几层下采样处理的特征层进行，小空序特征的感受野映射回原图将可能大于小目标在原图的尺寸，造成检测效果差，带来更多的误测；
（2）公开的数据集少，红外小目标检测大多用于军事领域，存在一定的保密性。
因此，方案B对红外热成像图中弱小目标检测效果不可靠、漏检和误检多。
为此，基于上述技术问题的发现，发明人提出下述技术方案以解决上述问题。需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果。因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在发明创造过程中对本申请做出的贡献，而不应当理解为本领域技术人员所公知的技术内容。
图2示出了本申请实施例提供的基于热成像的对象检测方法的流程示意图，该基于热成像的对象检测方法可以由图1中所示的基于热成像的对象检测系统10执行，具体而言可以是由服务器100执行，或者也可以是由其它具有任意计算处理能力的其它装置执行，应当理解，在其它实施例中，本实施例的基于热成像的对象检测方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该基于热成像的对象检测方法的详细步骤介绍如下。
步骤S110，获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列。
本实施例中，热成像视频流可以是指由红外热成像视频监控设备200对目标区域进行实时视频采集获得的视频流，在进行后续的对象检测时，需要满足一定的对象检测条件，如满足视频抖动幅度条件时才进行后续的对象检测，从而提高后续的对象检测效果。
步骤S120，对第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列。
本实施例中，不同目标类别可以用于表征不同的检测目标区域大小，例如可以根据第二连续帧数据序列中的运动对象所占的像素个数来确定来确定检测目标区域大小，从而确定第二连续帧数据序列所属的目标类别，进而获得不同目标类别对应的第二连续帧数据序列。
步骤S130，根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息。
本实施例中，对于不同的目标类别可以预先确定不同的对象检测策略，进而对于红外热成像的图像帧中不同目标类别的检测对象，在进行对象检测过程中根据每个目标类别所对应的对象检测策略进行区分检测，可以提高检测效果。
在一种可能的实施方式中，针对步骤S110而言，下面结合一种可能的示例进行说明。例如可以通过检测第一连续帧数据序列的视频帧的抖动情况来筛选获得第二连续帧数据序列，一种可替代的实现方式示例性描述如下。
子步骤S111，提取第一连续帧数据序列中的每一帧目标图像的第一特征点集。
子步骤S112，从目标图像的相邻帧图像中获取具有第一特征点集的相同特征的第二特征点集。
子步骤S113，计算第一特征点集和第二特征点集之间的特征偏移量。
子步骤S114，当特征偏移量小于预设偏移量阈值时，将目标图像和目标图像的相邻帧图像确定为满足对象检测的第二连续帧数据序列中的图像对。
子步骤S115，若满足对象检测的图像对大于预设数量阈值，则将第一连续帧数据序列确定为满足对象检测的第二连续帧数据序列。若满足对象检测的图像对不大于预设数量阈值，则将第一连续帧数据序列确定为不满足对象检测的第二连续帧数据序列并将第一连续帧数据序列进行过滤。
本实施例中，检测第一连续帧数据序列的视频帧的抖动的要点是选取第一连续帧数据序列中的参考特征点，如果图像帧未发生抖动，任意两图像帧之间的参考点位置应当为重合或者接近重合的，而参考特征点的特征偏移量的变化率则代表着视频抖动的幅度，本申请实施例通过提取每帧目标图像的第一特征点集，再从目标图像的相邻帧图像中获取具有第一特征点集的相同特征的第二特征点集，从而计算第一特征点集和第二特征点集之间的特征偏移量，进而可以通过预设偏移量阈值对抖动过大的图像帧序列进行过滤，从而获得满足对象检测的第二连续帧数据序列。
例如，假设第二连续帧数据序列包括10帧连续图像，那么相邻的图像对为9对，假设6个图像对中的第一特征点集和第二特征点集之间的特征偏移量均小于预设偏移量阈值，那么则可以将这10帧连续图像确定为满足对象检测的第二连续帧数据序列，否则将这10帧连续图像进行过滤。
在一种可能的实施方式中，可以预先训练一个深度学习分类模型，按照真实场景中的图像帧中检测目标区域的大小（例如像素高度）检测目标区域进行目标类别的标记，然后将每个图像帧和每个图像帧所对应的标记目标类别信息输入深度学习模型（可以选择轻量级网络）进行训练，可以使得训练后的目标深度学习模型具有预测目标类别的能力。例如，可以对真实场景中的图像帧中像素高度小于15的检测目标区域标记为小目标，将像素个数大于或者等于15的检测目标区域标记为大目标。
这样，针对步骤S120而言，可以根据目标深度学习模型对第二连续帧数据序列中的每帧数据进行分类，获得每帧数据中的检测目标区域属于每个目标类别的置信度，然后根据每帧数据中的检测目标区域属于每个目标类别的置信度，确定每帧数据的选定目标类别。例如，可以将最大置信度对应的目标类别确定为每帧数据的选定目标类别。在此基础上，可以将第二连续帧数据序列中最多数量的目标类别，确定为第二连续帧数据序列的选定目标类别，得到不同目标类别对应的第二连续帧数据序列。
例如，假设第二连续帧数据序列中最多数量的目标类别为小目标类别，那么则可以将第二连续帧数据序列的选定目标类别确定为小目标类别。
在一种可能的实施方式中，上述的目标类别可以包括大目标类别（例如像素高度大于或者等于15的目标类别）和小目标类别（例如像素高度小于15的目标类别），对于步骤S130，以下结合两种可能的实现方式进行示例性说明。
实现方式A：针对大目标类别对应的第二连续帧数据序列，将第二连续帧数据序列中的当前帧与背景参考模型进行比较，根据比较结果获得第二连续帧数据序列中的每个运动对象的位置信息。其中，背景建模是采用第二连续帧数据序列中的当前帧与背景参考模型进行比较来检测运动对象的一种方式，背景建模检测运动目标速度快，检测准确，易于实现，其关键是背景图像的获取，在实际应用过程中，静止背景是不易直接获得的，同时，由于背景图像的动态变化，需要通过视频序列信息来估计和恢复背景，即背景重建，因此需要选择性地更新背景。通过背景建模的方式，相较于相关技术单纯采用深度学习模型进行分类预测的方式，可以提高在复杂场景下的检测效果，并且提高算法鲁棒性。
在此基础上，可以基于卡尔曼滤波算法和匈牙利算法对第二连续帧数据序列中的每个运动对象的位置信息进行跟踪，获得每个运动对象的对象运动轨迹，当对象运动轨迹的移动轨迹点数量超过预设数量阈值时，将当前帧输入到目标检测模型中，进行对象检测，获得对象检测信息。
其中，卡尔曼滤波（Kalman filtering）是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，由于观测数据中包括系统中的噪声和干扰的影响，因此最优估计也可看作是滤波过程。
其中，匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，在本申请实施方式中可以用于关联相邻帧之间的同一目标（即运动对象）。
其中，目标检测模型可以基于热成像图像样本集对深度学习网络进行训练获得，对于大目标类别而言，深度学习网络能够学习到的特征细节相较于小目标类别更多，因此可以提高检测效果，降低误检测概率。
实现方式B：针对小目标类别对应的第二连续帧数据序列，基于稀疏光流跟踪算法得到第二连续帧数据序列中的每个运动对象的对象运动轨迹，当对象运动轨迹的移动轨迹点数量超过预设数量阈值时，确定每个运动对象的坐标点，并以坐标点为中心点截取预设半径范围（例如25个像素）内的目标图像区域后，根据预设人形配置参数对目标图像区域进行检测，获得对象检测信息。
例如，结合预设人形配置参数可以包括人形宽高比、像素个数等信息，然后基于预设人形配置参数从目标图像区域中分割出对象检测信息（如运动对象的坐标点及宽高信息等）。可选地，以上分割方法可以包括通道分离、OTSU算法（最大类间差法）、像素投影等，但不限于此。其中，最大类间差法通过采用按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小，因此，使类间方差最大的分割意味着错分概率最小。如此设计，通过先以坐标点为中心点截取预设半径范围内的目标图像区域后，再根据预设人形配置参数对目标图像区域进行检测，获得对象检测信息，相较于相关技术中针对整帧图像进行检测的方式，可以降低计算量，减少计算耗时。
在一种可能的实施方式中，在应用阶段，请结合参阅图3，本申请实施例所提供的方法还可以包括以下步骤S140-步骤S150，示例性描述如下。
步骤S140，将对象检测信息与预设先验框的先验框信息进行比较，并根据比较结果判断对象检测信息对应的运动对象是否入侵预设先验框的区域。
本实施例中，预设先验框可以基于实际应用场景进行灵活配置，在此不作详细限定。通过将对象检测信息与预设先验框的先验框信息进行比较，可以判断对象检测信息是否部分或者全部被覆盖于预设先验框的先验框信息中，当对象检测信息部分或者全部被覆盖于预设先验框的先验框信息中时，可以判定对象检测信息对应的运动对象入侵预设先验框的区域，否则判定对象检测信息对应的运动对象没有入侵预设先验框的区域。值得说明的是，在其它可能的实施方式中，也可以基于其它任意可行的规则判断对象检测信息对应的运动对象是否入侵预设先验框的区域，在此不作具体限定。
步骤S150，当对象检测信息对应的运动对象入侵预设先验框的区域时，将对象检测信息中运动对象的对象坐标作为报警点坐标与预设先验框的区域进行关联，获得报警关联结果。
在一种可能的实施方式中，在进一步的应用阶段，请结合参阅图4，本申请实施例所提供的方法还可以包括以下步骤S160-步骤S170，示例性描述如下。
步骤S160，根据获得的所有报警关联结果确定所有运动对象的历史报警信息以及历史报警信息的报警确认标签信息。
本实施例中，考虑到在一些复杂判定条件下，往往需要人工协助进行判定，报警确认标签信息可以包括报警确认标签和报警拒绝标签，报警确认标签可以用于表示报警信息满足实际报警条件，报警拒绝标签可以用于表示报警信息不满足实际报警条件。
步骤S170，基于所有运动对象的历史报警信息以及历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型。
本实施例通过收集所有报警关联结果确定所有运动对象的历史报警信息以及历史报警信息的报警确认标签信息作为训练样本信息训练得到目标报警决策模型，从而可以在复杂判定条件下通过目标报警决策模型来进一步决策判定是否需要发出实际报警，减少人为决策的工作量。
在一种可能的实施方式中，请结合参阅图5，步骤S170可以通过以下示例性的子步骤实现，详细描述如下。
子步骤S171，根据历史报警信息的报警确认标签信息获取所有运动对象的历史报警信息对应的历史报警确认信息，将历史报警确认信息输入到报警决策模型的特征提取单元中，以对历史报警确认信息进行特征学习并生成对应的报警特征学习信息。报警决策模型包括特征提取单元和分类单元。
子步骤S172，将报警特征学习信息输入到分类单元中，以对报警特征学习信息的学习数据段进行分类决策得到报警特征学习信息的决策分类结果。
子步骤S173，根据报警特征学习信息的决策分类结果，对特征提取单元和分类单元进行权重调整，直至特征提取单元和分类单元更新结束，得到已训练的目标报警决策模型。
基于上述方案，特征提取单元和分类单元的联合训练能得到耦合性良好的报警决策模型，可以学习到历史报警信息的报警确认标签信息的深度特征信息，进而协助用户进行报警决策。
在一种可能的实施方式中，在对历史报警确认信息进行特征学习并生成对应的报警特征学习信息的过程中，可以对历史报警确认信息进行特征学习，根据已学习的报警确认特征信息得到报警确认差异特征分布，根据报警确认差异特征分布生成报警特征学习信息。
其中，历史报警确认信息可以包括报警确认时序向量矩阵和报警确认空序向量矩阵。
在此基础上，可以具体将报警确认时序向量矩阵和报警确认空序向量矩阵输入到有向图模型中，以通过有向图模型进行特征学习，并根据学习的报警确认特征信息确定有向图模型的有向图节点的有向图特征分布，然后根据有向图节点的有向图特征分布生成报警确认差异特征分布，将报警确认空序向量矩阵和报警确认差异特征分布进行融合，从而根据融合得到的报警确认空序向量矩阵生成报警特征学习信息。
譬如，在进一步的可能的实施方式中，在将报警确认空序向量矩阵和报警确认差异特征分布进行融合的过程中，可获取报警确认空序向量矩阵和报警确认差异特征分布之间的可融合特征节点集，其中，所述可融合特征节点集包括报警确认空序向量矩阵在目标融合区间内调用的多个空序可融合特征节点、所述报警确认差异特征分布在所述目标融合区间内调用的多个差异可融合特征节点，以及各可融合特征节点的融合元素序列。然后，利用与所述多个空序可融合特征节点对应的空序特征属性，及与所述多个差异可融合特征节点对应的差异特征属性构建特征属性，并根据所述特征属性获取融合位图信息，其中，所述空序特征属性用于表征按照所述融合元素序列进行融合控制的所述多个空序可融合特征节点的关键融合对象，所述差异特征属性用于表征按照所述融合元素序列进行融合控制的所述多个差异可融合特征节点的可融合特征节点的关键融合对象，所述融合位图信息用于表征所述空序特征属性及所述差异特征属性的融合映射关系。
利用所述可融合特征节点集中在目标融合区间段内被调用且按所述融合元素序列的数据层结构的所述空序可融合特征节点与所述差异可融合特征节点构建融合分配节点集，并根据所述融合分配节点集获取融合行为定位信息，其中，所述融合行为定位信息用于表征所述融合分配节点集中至少两个映射可融合特征节点之间的融合映射关系。
根据所述融合位图信息与所述融合行为定位信息，获取所述报警确认空序向量矩阵与所述报警确认差异特征分布之间的融合场景匹配参数，根据所述融合场景匹配参数确定所述报警确认空序向量矩阵与所述报警确认差异特征分布之间的融合业务快照，并基于所述融合业务快照对所述报警确认空序向量矩阵与所述报警确认差异特征分布所对应的融合过程执行融合控制，得到融合后的报警确认空序向量矩阵，作为所述报警特征学习信息。
在一种可能的实施方式中，为了进一步提高训练学习过程中的准确性，历史报警信息可以为至少两个周期的历史报警信息，每个周期的历史报警信息均对应有历史报警确认信息。
这样，在子步骤S171中，可以依次将各个周期的历史报警确认信息输入到特征提取单元中，以生成各个周期的报警特征学习信息。
在子步骤S173中，可以根据各个周期的报警特征学习信息对应的决策分类结果，对特征提取单元和分类单元进行至少两个周期的权重调整。
其中，一个周期的历史报警信息包括第一训练数据和第二训练数据，若历史报警信息为第一训练数据，报警特征学习信息的决策分类结果为第一分类结果，若历史报警信息为第二训练数据，报警特征学习信息的决策分类结果为第二分类结果。
这样，对于一个周期的权重调整，可以根据第一分类结果对特征提取单元进行权重调整，根据第二分类结果对分类单元进行权重调整。
基于同一发明构思，请参阅图6，示出了本申请实施例提供的基于热成像的对象检测装置110的功能模块示意图，本实施例可以根据上述方法实施例对基于热成像的对象检测装置110进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图6示出的基于热成像的对象检测装置110只是一种装置示意图。其中，基于热成像的对象检测装置110可以包括获取模块111、划分模块112以及检测模块113，下面分别对该基于热成像的对象检测装置110的各个功能模块的功能进行详细阐述。
获取模块111，用于获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列。可以理解，该获取模块111可以用于执行上述步骤S110，关于该获取模块111的详细实施方式可以参照上述对步骤S110有关的内容。
划分模块112，用于对第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列，其中，不同目标类别用于表征不同的检测目标区域大小。可以理解，该划分模块112可以用于执行上述步骤S120，关于该划分模块112的详细实施方式可以参照上述对步骤S120有关的内容。
检测模块113，用于根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息。可以理解，该检测模块113可以用于执行上述步骤S130，关于该检测模块113的详细实施方式可以参照上述对步骤S130有关的内容。
基于同一发明构思，请参阅图7，示出了本申请实施例提供的用于执行上述基于热成像的对象检测方法的服务器100的结构示意框图，该服务器100可以包括基于热成像的对象检测装置110、机器可读存储介质120和处理器130。
在一种可能的实施方式中，机器可读存储介质120与处理器130均位于服务器100中且二者分离设置。然而，应当理解的是，机器可读存储介质120也可以是独立于服务器100之外，且可以由处理器130通过总线接口来访问。可替换地，机器可读存储介质120也可以集成到处理器130中，例如，可以是高速缓存和/或通用寄存器。
处理器130是该服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在机器可读存储介质120内的软件程序和/或模块，以及调用存储在机器可读存储介质120内的数据，执行该服务器100的各种功能和处理数据，从而对服务器100进行整体监控。可选地，处理器130可包括一个或多个处理核心。例如，处理器130可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，处理器130可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制上述方法实施例提供的基于热成像的对象检测方法的程序执行的集成电路。
机器可读存储介质120可以是ROM或可存储静态信息和指令的其它类型的静态存储设备，RAM或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory，EEPROM)、只读光盘(Compactdisc Read-Only MEMory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。机器可读存储介质120可以是独立存在，通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中，机器可读存储介质120用于存储执行本申请方案的机器可执行指令，例如可以存储基于热成像的对象检测装置110中各个软件功能模块（如图6中所示的获取模块111、划分模块112以及检测模块113）的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令，以实现前述方法实施例提供的基于热成像的对象检测方法。
由于本申请实施例提供的服务器100是上述服务器100执行的方法实施例的另一种实现形式，且服务器100可用于执行上述方法实施例提供的基于热成像的对象检测方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
进一步地，本申请实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于实现上述方法实施例提供的基于热成像的对象检测方法。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本申请任意实施例所提供的基于热成像的对象检测方法中的相关操作。
本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”一词不排除其它组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本申请的实施例的详细描述并非旨在边界本申请的保护范围，而仅仅是表示本申请的选定实施例。因此，本申请的保护范围应以权利要求的保护范围为准。此外，基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本申请保护的范围。

Claims (7)

1.一种基于热成像的对象检测方法，其特征在于，应用于服务器，所述方法包括：
获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列；
对所述第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列，其中，不同目标类别用于表征不同的检测目标区域大小；
根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息；
所述方法还包括：
将所述对象检测信息与预设先验框的先验框信息进行比较，并根据比较结果判断所述对象检测信息对应的运动对象是否入侵所述预设先验框的区域；
当所述对象检测信息对应的运动对象入侵所述预设先验框的区域时，将所述对象检测信息中所述运动对象的对象坐标作为报警点坐标与所述预设先验框的区域进行关联，获得报警关联结果；
根据获得的所有报警关联结果确定所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息；
基于所述所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型；
所述基于所述所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型的步骤，包括：
根据所述历史报警信息的报警确认标签信息获取所述所有运动对象的历史报警信息对应的历史报警确认信息，将所述历史报警确认信息输入到报警决策模型的特征提取单元中，以对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息；所述报警决策模型包括所述特征提取单元和分类单元；
将所述报警特征学习信息输入到所述分类单元中，以对所述报警特征学习信息的学习数据段进行分类决策得到所述报警特征学习信息的决策分类结果；
根据所述报警特征学习信息的决策分类结果，对所述特征提取单元和所述分类单元进行权重调整，直至所述特征提取单元和所述分类单元更新结束，得到已训练的目标报警决策模型；
所述对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息的步骤，包括：
对所述历史报警确认信息进行特征学习；
根据已学习的报警确认特征信息得到报警确认差异特征分布；
根据所述报警确认差异特征分布生成所述报警特征学习信息；
其中，所述历史报警确认信息包括报警确认时序向量矩阵和报警确认空序向量矩阵；
所述对所述历史报警确认信息进行特征学习，根据已学习的报警确认特征信息得到报警确认差异特征分布，根据所述报警确认差异特征分布生成所述报警特征学习信息的步骤，包括：
将所述报警确认时序向量矩阵和所述报警确认空序向量矩阵输入到有向图模型中，以通过所述有向图模型进行特征学习，并根据学习的报警确认特征信息确定所述有向图模型的有向图节点的有向图特征分布；
根据所述有向图节点的有向图特征分布生成所述报警确认差异特征分布；
将所述报警确认空序向量矩阵和所述报警确认差异特征分布进行融合；
根据融合得到的报警确认空序向量矩阵生成所述报警特征学习信息；
其中，在将报警确认空序向量矩阵和报警确认差异特征分布进行融合的过程中，可获取报警确认空序向量矩阵和报警确认差异特征分布之间的可融合特征节点集，其中，所述可融合特征节点集包括报警确认空序向量矩阵在目标融合区间内调用的多个空序可融合特征节点、所述报警确认差异特征分布在所述目标融合区间内调用的多个差异可融合特征节点，以及各可融合特征节点的融合元素序列；然后，利用与所述多个空序可融合特征节点对应的空序特征属性，及与所述多个差异可融合特征节点对应的差异特征属性构建特征属性，并根据所述特征属性获取融合位图信息，其中，所述空序特征属性用于表征按照所述融合元素序列进行融合控制的所述多个空序可融合特征节点的关键融合对象，所述差异特征属性用于表征按照所述融合元素序列进行融合控制的所述多个差异可融合特征节点的可融合特征节点的关键融合对象，所述融合位图信息用于表征所述空序特征属性及所述差异特征属性的融合映射关系；
利用所述可融合特征节点集中在目标融合区间段内被调用且按所述融合元素序列的数据层结构的所述空序可融合特征节点与所述差异可融合特征节点构建融合分配节点集，并根据所述融合分配节点集获取融合行为定位信息，其中，所述融合行为定位信息用于表征所述融合分配节点集中至少两个映射可融合特征节点之间的融合映射关系；
根据所述融合位图信息与所述融合行为定位信息，获取所述报警确认空序向量矩阵与所述报警确认差异特征分布之间的融合场景匹配参数，根据所述融合场景匹配参数确定所述报警确认空序向量矩阵与所述报警确认差异特征分布之间的融合业务快照，并基于所述融合业务快照对所述报警确认空序向量矩阵与所述报警确认差异特征分布所对应的融合过程执行融合控制，得到融合后的报警确认空序向量矩阵，作为所述报警特征学习信息。
2.根据权利要求1所述的基于热成像的对象检测方法，其特征在于，所述获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列的步骤，包括：
提取所述第一连续帧数据序列中的每一帧目标图像的第一特征点集；
从所述目标图像的相邻帧图像中获取具有所述第一特征点集的相同特征的第二特征点集；
计算所述第一特征点集和所述第二特征点集之间的特征偏移量；
当所述特征偏移量小于预设偏移量阈值时，将所述目标图像和所述目标图像的相邻帧图像确定为满足对象检测的图像对；
若所述满足对象检测的图像对大于预设数量阈值，则将所述第一连续帧数据序列确定为满足对象检测的第二连续帧数据序列；
若所述满足对象检测的图像对不大于预设数量阈值，则将所述第一连续帧数据序列确定为不满足对象检测的第二连续帧数据序列并将所述第一连续帧数据序列进行过滤。
3.根据权利要求1所述的基于热成像的对象检测方法，其特征在于，所述对所述第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列的步骤，包括：
根据目标深度学习模型对所述第二连续帧数据序列中的每帧数据进行分类，获得所述每帧数据中的检测目标区域属于每个目标类别的置信度；
根据所述每帧数据中的检测目标区域属于每个目标类别的置信度，确定所述每帧数据的选定目标类别；
将所述第二连续帧数据序列中最多数量的目标类别，确定为所述第二连续帧数据序列的选定目标类别，得到不同目标类别对应的第二连续帧数据序列。
4.根据权利要求1所述的基于热成像的对象检测方法，其特征在于，所述目标类别包括大目标类别和小目标类别，所述根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息的步骤，包括：
针对大目标类别对应的第二连续帧数据序列，将所述第二连续帧数据序列中的当前帧与背景参考模型进行比较，根据比较结果获得所述第二连续帧数据序列中的每个运动对象的位置信息，并基于卡尔曼滤波算法和匈牙利算法对所述第二连续帧数据序列中的每个运动对象的位置信息进行跟踪，获得每个运动对象的对象运动轨迹，当所述对象运动轨迹的移动轨迹点数量超过预设数量阈值时，将当前帧输入到目标检测模型中，进行对象检测，获得对象检测信息；
针对小目标类别对应的第二连续帧数据序列，基于稀疏光流跟踪算法得到所述第二连续帧数据序列中的每个运动对象的对象运动轨迹，当所述对象运动轨迹的移动轨迹点数量超过预设数量阈值时，确定所述每个运动对象的坐标点，并以所述坐标点为中心点截取预设半径范围内的目标图像区域后，根据预设人形配置参数对所述目标图像区域进行检测，获得对象检测信息。
5.根据权利要求1所述的基于热成像的对象检测方法，其特征在于，所述历史报警信息为至少两个周期的历史报警信息，每个周期的历史报警信息均对应有历史报警确认信息；
所述根据所述历史报警信息的报警确认标签信息获取所述所有运动对象的历史报警信息对应的历史报警确认信息，将所述历史报警确认信息输入到报警决策模型的特征提取单元中，以对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息，包括：
依次将各个周期的历史报警确认信息输入到所述特征提取单元中，以生成各个周期的报警特征学习信息；
所述根据所述报警特征学习信息的决策分类结果，对所述特征提取单元和所述分类单元进行权重调整，包括：
根据所述各个周期的报警特征学习信息对应的决策分类结果，对所述特征提取单元和所述分类单元进行至少两个周期的权重调整；
其中，一个周期的所述历史报警信息包括第一训练数据和第二训练数据，若所述历史报警信息为第一训练数据，所述报警特征学习信息的决策分类结果为第一分类结果，若所述历史报警信息为第二训练数据，所述报警特征学习信息的决策分类结果为第二分类结果；
对于一个周期的权重调整，所述根据所述各个周期的报警特征学习信息对应的决策分类结果，对所述特征提取单元和所述分类单元进行至少两个周期的权重调整，包括：
根据所述第一分类结果对所述特征提取单元进行权重调整，根据所述第二分类结果对所述分类单元进行权重调整。
6.一种基于热成像的对象检测装置，其特征在于，应用于服务器，所述装置包括：
获取模块，用于获取热成像视频流中第一连续帧数据序列中满足对象检测的第二连续帧数据序列；
划分模块，用于对所述第二连续帧数据序列进行分类，获得不同目标类别对应的第二连续帧数据序列，其中，不同目标类别用于表征不同的检测目标区域大小；
检测模块，用于根据每个目标类别所对应的对象检测策略，对每个目标类别对应的第二连续帧数据序列进行对象检测，获得对象检测信息；
将所述对象检测信息与预设先验框的先验框信息进行比较，并根据比较结果判断所述对象检测信息对应的运动对象是否入侵所述预设先验框的区域；
当所述对象检测信息对应的运动对象入侵所述预设先验框的区域时，将所述对象检测信息中所述运动对象的对象坐标作为报警点坐标与所述预设先验框的区域进行关联，获得报警关联结果；
根据获得的所有报警关联结果确定所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息；
基于所述所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型；
所述基于所述所有运动对象的历史报警信息以及所述历史报警信息的报警确认标签信息训练报警决策模型，获得目标报警决策模型的方式，包括：
根据所述历史报警信息的报警确认标签信息获取所述所有运动对象的历史报警信息对应的历史报警确认信息，将所述历史报警确认信息输入到报警决策模型的特征提取单元中，以对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息；所述报警决策模型包括所述特征提取单元和分类单元；
将所述报警特征学习信息输入到所述分类单元中，以对所述报警特征学习信息的学习数据段进行分类决策得到所述报警特征学习信息的决策分类结果；
根据所述报警特征学习信息的决策分类结果，对所述特征提取单元和所述分类单元进行权重调整，直至所述特征提取单元和所述分类单元更新结束，得到已训练的目标报警决策模型；
所述对所述历史报警确认信息进行特征学习并生成对应的报警特征学习信息的方式，包括：
对所述历史报警确认信息进行特征学习；
根据已学习的报警确认特征信息得到报警确认差异特征分布；
根据所述报警确认差异特征分布生成所述报警特征学习信息；
其中，所述历史报警确认信息包括报警确认时序向量矩阵和报警确认空序向量矩阵；
所述对所述历史报警确认信息进行特征学习，根据已学习的报警确认特征信息得到报警确认差异特征分布，根据所述报警确认差异特征分布生成所述报警特征学习信息的方式，包括：
将所述报警确认时序向量矩阵和所述报警确认空序向量矩阵输入到有向图模型中，以通过所述有向图模型进行特征学习，并根据学习的报警确认特征信息确定所述有向图模型的有向图节点的有向图特征分布；
根据所述有向图节点的有向图特征分布生成所述报警确认差异特征分布；
将所述报警确认空序向量矩阵和所述报警确认差异特征分布进行融合；
根据融合得到的报警确认空序向量矩阵生成所述报警特征学习信息；
其中，在将报警确认空序向量矩阵和报警确认差异特征分布进行融合的过程中，可获取报警确认空序向量矩阵和报警确认差异特征分布之间的可融合特征节点集，其中，所述可融合特征节点集包括报警确认空序向量矩阵在目标融合区间内调用的多个空序可融合特征节点、所述报警确认差异特征分布在所述目标融合区间内调用的多个差异可融合特征节点，以及各可融合特征节点的融合元素序列；然后，利用与所述多个空序可融合特征节点对应的空序特征属性，及与所述多个差异可融合特征节点对应的差异特征属性构建特征属性，并根据所述特征属性获取融合位图信息，其中，所述空序特征属性用于表征按照所述融合元素序列进行融合控制的所述多个空序可融合特征节点的关键融合对象，所述差异特征属性用于表征按照所述融合元素序列进行融合控制的所述多个差异可融合特征节点的可融合特征节点的关键融合对象，所述融合位图信息用于表征所述空序特征属性及所述差异特征属性的融合映射关系；
利用所述可融合特征节点集中在目标融合区间段内被调用且按所述融合元素序列的数据层结构的所述空序可融合特征节点与所述差异可融合特征节点构建融合分配节点集，并根据所述融合分配节点集获取融合行为定位信息，其中，所述融合行为定位信息用于表征所述融合分配节点集中至少两个映射可融合特征节点之间的融合映射关系；
根据所述融合位图信息与所述融合行为定位信息，获取所述报警确认空序向量矩阵与所述报警确认差异特征分布之间的融合场景匹配参数，根据所述融合场景匹配参数确定所述报警确认空序向量矩阵与所述报警确认差异特征分布之间的融合业务快照，并基于所述融合业务快照对所述报警确认空序向量矩阵与所述报警确认差异特征分布所对应的融合过程执行融合控制，得到融合后的报警确认空序向量矩阵，作为所述报警特征学习信息。
7.一种服务器，其特征在于，包括机器可读存储介质和处理器，所述机器可读存储介质中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-5中任意一项所述的基于热成像的对象检测方法。
CN202110093543.2A 2021-01-25 2021-01-25 基于热成像的对象检测方法、装置及服务器 Active CN112418200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110093543.2A CN112418200B (zh) 2021-01-25 2021-01-25 基于热成像的对象检测方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110093543.2A CN112418200B (zh) 2021-01-25 2021-01-25 基于热成像的对象检测方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN112418200A CN112418200A (zh) 2021-02-26
CN112418200B true CN112418200B (zh) 2021-04-02

Family

ID=74782500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110093543.2A Active CN112418200B (zh) 2021-01-25 2021-01-25 基于热成像的对象检测方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN112418200B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686895B (zh) * 2021-03-11 2021-05-18 成都点泽智能科技有限公司 红外弱小目标的检测方法、装置及服务器
CN113033439B (zh) * 2021-03-31 2023-10-20 北京百度网讯科技有限公司 用于数据处理的方法、装置和电子设备
CN113707271B (zh) * 2021-10-28 2022-02-25 海门市三德体育用品有限公司 基于人工智能和大数据的健身方案生成方法及系统
CN115205655B (zh) * 2022-09-15 2022-12-09 中国科学院长春光学精密机械与物理研究所 动态背景下的红外暗弱点目标检测系统及其检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751553A (zh) * 2008-12-03 2010-06-23 中国科学院自动化研究所 一种大规模人群密度分析和预测方法
CN102842106A (zh) * 2012-07-03 2012-12-26 黄超超 运用时序有向图理论编辑旅游路线和旅游信息的方法
CN109327484A (zh) * 2017-07-31 2019-02-12 北京嘀嘀无限科技发展有限公司 特征值集合的获取方法、装置、服务器及存储介质
CN110807377A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 目标跟踪和入侵检测方法、装置、及存储介质
CN111882122A (zh) * 2020-07-16 2020-11-03 成都市高博汇科信息科技有限公司 一种基于深度学习和时空大数据的交通事故黑点预测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
CN101976313B (zh) * 2010-09-19 2012-09-26 四川大学 基于频繁子图挖掘的异常入侵检测方法
CN106713702A (zh) * 2017-01-19 2017-05-24 博康智能信息技术有限公司 一种视频图像抖动和摄像装置抖动判断方法及装置
CN107526666A (zh) * 2017-07-17 2017-12-29 阿里巴巴集团控股有限公司 基于深度学习的报警方法、系统、装置以及电子设备
KR20200052453A (ko) * 2018-10-31 2020-05-15 삼성에스디에스 주식회사 딥러닝 모델 학습 장치 및 방법
CN109657537A (zh) * 2018-11-05 2019-04-19 北京达佳互联信息技术有限公司 基于目标检测的图像识别方法、系统和电子设备
CN109886401A (zh) * 2019-01-10 2019-06-14 南京邮电大学 一种复杂网络表征学习方法
CN109815906B (zh) * 2019-01-25 2021-04-06 华中科技大学 基于分步深度学习的交通标志检测方法及系统
CN109934870B (zh) * 2019-01-30 2021-11-30 西安天伟电子系统工程有限公司 目标检测方法、装置、设备、计算机设备和存储介质
CN110555868A (zh) * 2019-05-31 2019-12-10 南京航空航天大学 一种复杂地面背景下运动小目标检测方法
CN110400305A (zh) * 2019-07-26 2019-11-01 哈尔滨理工大学 一种基于深度学习的目标检测方法
CN111538643B (zh) * 2020-07-07 2020-10-16 宝信软件(成都)有限公司 一种监控系统报警信息过滤方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751553A (zh) * 2008-12-03 2010-06-23 中国科学院自动化研究所 一种大规模人群密度分析和预测方法
CN102842106A (zh) * 2012-07-03 2012-12-26 黄超超 运用时序有向图理论编辑旅游路线和旅游信息的方法
CN109327484A (zh) * 2017-07-31 2019-02-12 北京嘀嘀无限科技发展有限公司 特征值集合的获取方法、装置、服务器及存储介质
CN110807377A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 目标跟踪和入侵检测方法、装置、及存储介质
CN111882122A (zh) * 2020-07-16 2020-11-03 成都市高博汇科信息科技有限公司 一种基于深度学习和时空大数据的交通事故黑点预测方法

Also Published As

Publication number Publication date
CN112418200A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112418200B (zh) 基于热成像的对象检测方法、装置及服务器
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
Arroyo et al. Expert video-surveillance system for real-time detection of suspicious behaviors in shopping malls
US9652863B2 (en) Multi-mode video event indexing
CN103971386B (zh) 一种动态背景场景下的前景检测方法
KR20080020595A (ko) 보안 어플리케이션을 위한 사람을 감지하고 추적하는시스템
CN111444744A (zh) 活体检测方法、装置以及存储介质
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
Gnouma et al. Abnormal events’ detection in crowded scenes
Lee et al. Low-complexity background subtraction based on spatial similarity
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
Gao et al. Forest fire smoke detection based on visual smoke root and diffusion model
Kadim et al. Deep-learning based single object tracker for night surveillance.
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Buemi et al. Efficient fire detection using fuzzy logic
Santhiya et al. Abnormal crowd tracking and motion analysis
CN112686895B (zh) 红外弱小目标的检测方法、装置及服务器
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN113628251B (zh) 一种智慧酒店终端监测方法
CN114387496A (zh) 一种目标检测方法和电子设备
JP2014203133A (ja) 画像処理装置、画像処理方法
CN111667507A (zh) 一种高速公路车辆轨迹跟踪方法
HN et al. Implementation of Covid-19 social distance detection and suspicious human behavior recognition using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant