CN113052869A - 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质 - Google Patents

一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质 Download PDF

Info

Publication number
CN113052869A
CN113052869A CN202110260879.3A CN202110260879A CN113052869A CN 113052869 A CN113052869 A CN 113052869A CN 202110260879 A CN202110260879 A CN 202110260879A CN 113052869 A CN113052869 A CN 113052869A
Authority
CN
China
Prior art keywords
target
intelligent
visible light
temperature measurement
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110260879.3A
Other languages
English (en)
Inventor
崔岩
刘兴林
徐世廷
刘强
陈冬雪
钟汉明
徐春广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Germany Zhuhai Artificial Intelligence Institute Co ltd
Wuyi University
4Dage Co Ltd
Original Assignee
China Germany Zhuhai Artificial Intelligence Institute Co ltd
Wuyi University
4Dage Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Germany Zhuhai Artificial Intelligence Institute Co ltd, Wuyi University, 4Dage Co Ltd filed Critical China Germany Zhuhai Artificial Intelligence Institute Co ltd
Priority to CN202110260879.3A priority Critical patent/CN113052869A/zh
Publication of CN113052869A publication Critical patent/CN113052869A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于智慧AI测温的轨迹跟踪方法、系统及存储介质，包括4个计算模块：智能测温模块、状态估计模块、位置预测模块、实时跟踪模块。本发明中所述的基于智慧AI测温的轨迹跟踪方法，可实现人体体温的快速提取和轨迹跟踪，远程监控人员通过该上位机即可实时、快速的发现体温异常人员，快速定位到体温异常人员的位置。本发明通过非接触、无感知的方式，可靠、高效地解决了在公共场所人员高度聚集、高流动性情况下的体温实时初筛检测和定位跟踪问题，达到体温预警的目的。

Description

一种基于智慧AI测温的轨迹跟踪方法、系统及存储介质
技术领域
本发明属于智能检测体温的技术领域，尤其涉及一种基于智慧AI测温的轨 迹跟踪方法、系统及存储介质。
背景技术
随着计算机视觉的快速发展，结合AI图像识别技术进行红外测温受到重视。 根据目前传统测温方法的痛点，针对现有体温检测系统所存在的局限性，本发明 是基于AI图像识别技术，采用红外热成像技术与球幕视频流信息结合，以解决 上述问题。
发明内容
基于此，有必要针对上述问题，本发明提出一种基于智慧AI测温的轨迹跟 踪方法、系统及存储介质。
一种基于智慧AI测温的轨迹跟踪方法，包括4个计算模块：智能测温模块、 状态估计模块、位置预测模块、实时跟踪模块；并包括以下步骤：
S1：采集视频流，对视频流进行解码得到至少2帧以上的可见光图像，所述 可见光图像按照时间排序；
S2：由智能测温模块对可见光图像中的目标提取温度值并显示；
S3：将目标执行所述状态估计模块，根据第一特征信息构造第一状态变量；
S4：将执行S3步骤后的目标执行所述位置预测模块，根据所述第一状态变 量对目标进行预测，得到所述目标的预测位置；
S5：根据所述预测位置判断目标在下一帧可见光图像的真实位置，在下一帧 可见光图像搜索出与目标距离最近的运动对象，重新获取该运动对象的第二特征 信息，根据第二特征信息构造第二状态变量；
S6：返回步骤S3，直到获得最终位置，并根据需要将所获真实位置和最终 位置全部显示，即为目标的运动轨迹。
优选地，所述步骤S1中的可见光图像由球幕相机获取，包括球幕相机拍摄 得到的球幕视频流解码后得到的可见光图像。
优选地，所述步骤S3中的第一特征信息包括目标的中心点、像素均值和/或 速度；根据第一特征信息确定第一状态变量包括选择中心点，计算出相应的状态 转移矩阵和测量矩阵，运算公式；
g(x,y,v)＝ax+by+cv (1-1)
h(x,y,v)＝dx+ey+fv (1-2)
其中g(x,y,v)表示状态转移矩阵，h(x,y,v)表示测量矩阵，x表示中心点位置， y表示像素均值，v表示速度，其它字母为常量，b、e大于0。
优选地，所述步骤S4中的利用卡尔曼滤波法对可见光图像的目标进行预测； 具体为利用前一帧可见光图像的目标可对当前帧对应目标进行预测，再利用当前 帧可见光图像中的备选目标作为预测值的观测值，利用卡尔曼滤波法基于前一帧 的目标的预测值和当前帧的备选目标的观测值以及备选目标与目标间的对应关 系实现对预测值的修正。
优选地，所述步骤S5中以预测位置为中心，设置一个半径为常数的预搜索 区域，随后在这个预搜索区域内利用最小欧氏距离进行目标搜索，以获得最佳的 匹配对象。
优选地，所述步骤S6中的所述最终位置，是指设置的时间节点所对应的最 终位置。
本发明还提出一种基于智慧AI测温的轨迹跟踪系统，包括：球幕相机、红 外图像采集装置、显示器、存储器、处理器以及存储在所述存储器中并可在所述 处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于智 慧AI测温的轨迹跟踪方法的步骤。
优选地，所述存储器或处理器可为上位机或数据库服务器。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计 算机程序，所述计算机程序被处理器执行时实现所述基于智慧AI测温的轨迹跟 踪方法的步骤。
实施本发明实施例，将具有如下有益效果：
本发明提出一种基于智慧AI测温的轨迹跟踪方法、系统及存储介质，该方 法通过球幕视频流或可见光图像与人工智能算法结合实现人脸抓拍与识别，实现 测温以及轨迹跟踪的功能，实时显示目标人员的运动轨迹，并实时定位最终位置， 远程监控人员即可实时、快速的发现体温异常人员，快速定位到体温异常人员的 位置。本发明通过非接触、无感知的方式，可靠、高效地解决了在公共场所人员 高度聚集、高流动性情况下的体温实时初筛检测和定位跟踪问题，达到体温预警 的目的。本发明不仅适用于学校，同理适用于多人出入的其它场所，如工厂、商 场、电影院、博物馆、游乐园等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的 附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造 性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明一个实施例中所述系统的结构示意图；
图2为本发明一个实施例中所述方法的实现流程示意图；
图3为本发明一个实施例中人脸朝向识别模块的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全 部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一个实施例中，如图1所示，提供了一种基于智慧AI测温的轨迹跟踪系 统，本发明实施例的系统包括：球幕相机、红外图像采集装置、显示器、存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处 理器执行所述计算机程序时实现所述基于智慧AI测温的轨迹跟踪方法的步骤。
优选地，所述存储器或处理器可为上位机或数据库服务器。在实际应用中， 可能还需使用现有技术中的协调器或系统总线，用于传输数据至上位机。由球幕 相机采集可见光图像，如采集的是场景中的视频流也可解码成一组可见光图像； 由红外图像采集装置采集红外图像，该红外图像采集装置可以是红外摄像头，红 外图像与可见光图像的所有数据自动上传至协调器，协调器通过串口将数据传输 至上位机，同时保存到远程数据库服务器中。在该上位机执行本发明中所述的基 于智慧AI测温的轨迹跟踪方法，最终实现人体体温的快速提取，远程监控人员 通过该上位机即可实时、快速的发现体温异常人员，同时进行轨迹跟踪，快速定 位到体温异常人员的位置。
在一个实施例中，如图2所述，提供了一种基于智慧AI测温的轨迹跟踪方 法，本发明实施例的方法包括4个计算模块：智能测温模块、状态估计模块、位 置预测模块、实时跟踪模块。
本发明实施例的方法包括以下步骤：
S1：由球幕相机拍摄得到球幕视频流，对视频流进行解码得到至少2帧以上 的可见光图像，所述可见光图像按照时间排序；
本申请实施例中的球幕相机，由于球幕相机使用的是鱼眼镜头，这种镜头可 以获得更宽的画面，但也存在一定弊端，即镜头的透镜中心区域相较于靠近中心 区域更加弯曲，故在进行图像采集时会出现桶形畸变，因此需要建立探头参数自 标定模型对探头的内外参数进行标定，同时计算探头内参和外参的畸变系数，并 结合畸变模型完成对静态图像的畸变修正。参数自标定模型需要先建立标定模 板，并求解出探头的内参和外参矩阵，然后利用重投影的方式将标定模板图像重 投影至三维空间，随后根据该重投影的三维坐标点和原始标定模板三维坐标点之 间的关系求解出探头内参和外参的畸变系数。标定模板中每一个点在三维空间中 都存在一个对应的三维坐标。为降低重投影误差，获得最优的探头外参以及三维 空间点的坐标，本发明中利用光束平差法即Bundle Adjustment，简称BA，对探 头标定过程进行优化。
S2：由智能测温模块对可见光图像中的目标提取温度值并显示；
所述智能测温模块包括4个计算模块：人脸识别模块、人脸朝向识别模块、 额头区域识别模块、温度提取模块；并包括以下步骤：
S21：同时采集可见光图像和红外图像；
所述步骤S21中的可见光图像由球幕相机获取，包括球幕相机拍摄得到的球 幕视频流解码后得到的多帧可见光图像。
S22：将可见光图像执行所述人脸识别模块；
所述步骤S22中的人脸识别模块采用Faster-RCNN算法，得到人脸框。
本实施例中，采用Faster-RCNN算法作为人脸检测算法，算法分为三个部分： 区域建议网络、兴趣区域池化网络以及Faster-RCNN网络，并包括以下步骤：
第一步：将视频流进行解码得到多帧可见光图像，将可见光图像输入至区域 建议网络中；
第二步：区域建议网络处理可见光图像，提取卷积特征图，确定搜索到预定 数量的可能面部的边界框(判断是否为人脸)；
第三步：在获取人脸的边界框和相应位置后，采用兴趣区域池化网络进行处 理，综合人脸的特征得到一个新的特征向量；
第四步：利用Faster-RCNN网络对边界框的内容进行分类，得到分类筛选后 的人脸框。
本申请实施例中利用Faster-RCNN算法作为人脸检测算法，把兴趣区域作为 目标特征进行筛选识别。将特征域图像也即兴趣区域图像筛选识别出来后，通过 图像拼接算法对筛选后的截取图像进行拼接，得到该子区域的完整特征域图像， 即人脸框。
首先，本实施例中建立特征域识别模型的方法为：从经预处理后的截取图像 中选择多幅包含特征域图像作为训练集，利用区域建议网络RPN网络(Region ProposalNetwork)对训练集中的图像进行特征域候选区域即兴趣候选区域的提 取，通过Faster-RCNN网络中骨干网络ImageNet对训练参数初始化以及对候选 区域建议网络RPN进行优化；同时将训练集中的图像依次输入Faster-RCNN网 络中,进行特征提取，将得到的特征域即兴趣区域映射至Faster-RCNN网络提取的 特征图上，以此获取训练集中视频图像对应的位置信息；通过ROI即兴趣区域池 化网络生成固定尺寸的候选区域特征，将该固定尺寸的特征域即兴趣区域候选区 域特征分别输入至分类层和边框回归层进行联合训练至模型收敛，并输出特征域 即兴趣候选区域的位置和对象类别。
需要说明的是，在本实施例中利用Faster-RCNN算法对特征域识别模型进行 训练过程中，随着网络层的增加，会出现梯度消失或者梯度爆炸等现象，导致网 络无法收敛的问题，故本实施例的骨干网络ImageNet优选为ResNet网络，用于 对训练的权值进行初始化。此外通过Faster-RCNN网络进行特征域识别后，系统 中会针对特征域即兴趣区域重复生成目标边界框，本实施例中通过利用边界框修 正算法，即将每个边界框对特征域即兴趣区域的识别概率作为权值进行加权修 正，以此获得更为精准的特征域即兴趣区域。
本实施例中，建立完特征域识别模型后即可将每个子区域对应时刻截取的图 像输入至特征域识别模型中进行训练，利用SVM即支持向量机构建二分类器， 分别输出包含特征域即兴趣区域图像和不包含特征域即兴趣区域图像，对包含特 征域的图像进行存储，未包含特征域的图像进行删除。
在存储的包含特征域的图像中选取一幅图像标记为基准图像，利用LK光流 法计算待拼接其他图像与基准图之间的投影变换参数，待拼接图像依据投影参数 进行投影变换，求解投影变换后的图像与基准间MSE误差即均方误差，若该误 差超过预定阙值，则需要重复利用光流场计算投影变换参数，不断迭代至MSE 误差小于设定阙值，即完成待拼接图像预基准图像的配准。重复上述过程至完成 全部待拼接图像与基准图像的配准，计算拼接图像与基准图像间的单应性矩阵， 结合投影关系完成图像拼接，最终得到对应时刻包含特征域的该子区域完整特征 域图像，也就是人脸框。
S23：将执行S22步骤后的可见光图像执行所述人脸朝向识别模块；
所述步骤S23中的人脸朝向识别模块采用至少两个LVQ网络级联结构的分 别构建Y方向和Z方向的分类器，得到人脸朝向。
本实施例的人脸朝向识别模块包括以下执行操作：利用人脸朝向识别算法对 上述分类筛选后的人脸框进人体脸朝向识别，具体地：将从面部68个关键点中 提取特征点，自适应地定位人脸区域，采用两个并行的LVQ网络对水平、竖直 方向进行朝向分类。
如图3所示，根据人体颈部的旋转方向，定义面部姿态的围绕Y、Z的旋转 方向，将朝向划分为15个类别，其中沿Y方向分为5个方向，即左、左前、前 方、右前和右，沿Z方向分为3个方向，即上方、正方和下方。采用两个LVQ 网络级联结构的分别构建Y方向和Z方向的分类器。即将Y方向的五个方向构 建一个LVQ分类器，将Z方向的3个方向构建一个LVQ分类器，由此实现对人 脸面部朝向的识别。
S24：将执行S23步骤后的可见光图像执行所述额头区域识别模块；
所述步骤S24中的额头区域识别模块，计算人脸框的大小，依据人体面部比 例关系，定义额头区域的矩形框大小，并定义偏离额头区域矩形框的修正因子。
该人脸框可为矩形，依据人体面部比例关系，定义额头区域矩形框的面积大 小，设人脸框的面积S，额头区域矩形框的面积为E，如下所示：
E＝aS
所述a取值在0到1之间，优选为1/3。
在实际计算中，还需要定义偏离额头区域矩形框的修正因子，由于在人体进 行测温时，会存在一个测温距离，所述测温距离，是指测量设备与人体之间的距 离，在本实施例中表示球幕相机与人体之间的距离。因此利用人体移动时人脸框 的面积S与测温距离L下的比值，作为偏离额头区域矩形框的修正因子α，如下 所示：
α＝S/L
额头区域矩形框的大小会根据人脸框的变化而变化，当人走进摄像头时额头 区域矩形框变大，反之当人远离摄像头时额头区域矩形框变小。
S25：将执行S24步骤后的可见光图像执行所述温度提取模块，将红外图像 与执行S4步骤后的可见光图像的分辨率进行统一，利用图像配准校正方法得到 红外图像中的额头区域，提取所述额头区域的温度值；
所述步骤S25中的图像配准校正方法是采用基于特征点匹配的方式，过滤误 匹配点。由于本实施例的测量距离相对近，故采用基于特征点匹配的方式，过滤 误匹配点，提出一种自适应的图像配准校正方法。本实施例中利用AKAZE算法 实现可见光图像与红外图像中的特征点进行配准，并利用全概率RANSAC算法 过滤掉错误的匹配点，构建空间变换矩阵匹配输入的图像，基于FLANN算法实 现快速匹配特征点。
S26：将可见光图像上的人体与对应提取后的温度值进行显示。
S3：将目标执行所述状态估计模块，根据第一特征信息构造第一状态变量；
将人体的头部区域作为目标特征，将利用人脸识别算法提取的人脸头部区域 的外接矩形设置为跟踪窗口，选择合适的参数来建立人脸头部区域的状态变量。 此处的人脸识别算法同智能测温模块的人脸识别算法。
所述合适的参数，即所述特征信息，包括选取所述目标特征的中心点、像素 均值和速度来构造状态变量，优先选择中心点，并计算出相应的状态转移矩阵和 测量矩阵，即根据获得的如上特征信息确定状态变量。此处所述特征信息即为第 一特征信息，所述状态变量即为第一状态变量。
g(x,y,v)＝ax+by+cv (1-1)
h(x,y,v)＝dx+ey+fv (1-2)
其中g(x,y,v)表示状态转移矩阵，h(x,y,v)表示测量矩阵，x表示中心点位置， y表示像素均值，v表示速度，其它字母为常量，b、e大于0，a、c、d、f取值 不受限。
S4：将执行S3步骤后的目标执行所述位置预测模块，根据所述第一状态变 量对目标进行预测，得到所述目标的预测位置；
利用卡尔曼滤波法对每帧可见光图像的目标进行预测，进而获得目标在下一 帧可见光图像中的中心点位置，即预测位置；便于在下一步骤中将预测位置与搜 索区域内所有目标的中心点进行判断出目标在下一帧中的真实位置。
由于卡尔曼滤波能对线性的处理模型和测量模型进行精确的估计，可以理 解，利用前一帧可见光图像的目标可对当前帧对应目标进行预测，再利用当前帧 可见光图像中的备选目标作为预测值的观测值，利用卡尔曼滤波法基于前一帧的 目标的预测值和当前帧的备选目标的观测值以及备选目标与目标间的对应关系 实现对预测值的修正。
卡尔曼滤波法是一种递推线性最小方差估计，利用上一时刻的估计，再加上 实时得到的量测来进行实时估计。因为上一时刻的状态估计是利用上一时刻和以 前的输入量测得到的，所以这种递推的实时估计就是利用所有的输入量测数据得 到。其次卡尔曼滤波把被估计量测作为系统的状态，用系统状态方程来描述状态 的转移过程，因此，各时刻之间的状态相关函数，就可以根据状态方程的转移特 性来描述，解决非平稳随机过程估计的困难。卡尔曼滤波的最优准则与线性最小 方差估计一样，每一时刻的估计都使估计均方误差最小。
卡尔曼滤波法是使用状态方程和量测方程来实现的，在此简要介绍卡尔曼滤 波法的流程：
首先，我们假设系统状态方程和量测方程如下所示：
Figure BDA0002969916790000101
其中，Xk表示k时刻n×1维系统状态矢量；Xk-1则是k-1时刻的系统状态 矢量；
Figure BDA0002969916790000102
为k-1时刻的m×1维量测矢量；Wk-1为k-1时刻n×1维系统噪声矢 量；Γk-1为系统噪声驱动矩阵；Zk为k时刻m×1维量测矢量；Hk为k时刻m×n 维量测矩阵；Vk为k时刻m×1维量测噪声矢量；
系统噪声矢量Wk-1和量测噪声矢量Vk都是零均值白噪声序列，且两者互 不相关，有如下关系：
Figure BDA0002969916790000111
其中，Qk表示系统的噪声序列的方差矩阵，Rk是量测噪声的方差序列的 方差矩阵；这里，我们假定Qk是非负定矩阵，并且假定Rk为正定矩阵；另外， δki为Kroneker函数：
Figure BDA0002969916790000112
结合上面对于滤波方程的数学描述和相关的统计数据，根据一组卡尔曼滤 波方程，我们可以利用实际的测量值Zk与测量值前一时刻求出的估计值求得k 时刻的时间最优估计
Figure BDA0002969916790000113
值值，卡尔曼滤波方程如下所示：
状态一步预测方程：
Figure BDA0002969916790000114
协方差误差预测方程：
Figure BDA0002969916790000115
滤波增益方程：
Figure BDA0002969916790000116
状态估计计算方程：
Figure BDA0002969916790000117
状态一步预测方程：
Pk＝[I-Kk Hk]Pk|k-1
在求解位置、速度、时间信息时，使用卡尔曼滤波算法的思路为：首先，选 择一个合适的初始值，即第一个状态的值，只有这样才能够保证卡尔曼滤波算法 迭代的收敛性；合理运用预测与更新这两个步骤，用前一状态估计当前状态会有 一定的误差，而直接测量当前状态时也会有误差，也称为测量误差，充分利用预 测和更新两个步骤可以获得一个更加接近最优状态的值；此外，我们可以把位置 误差等也作为系统的状态变量，进一步减小误差带来的影响。
S5：根据所述预测位置判断目标在下一帧可见光图像的真实位置，在下一帧 可见光图像搜索出与目标距离最近的运动对象，重新获取该运动对象的第二特征 信息，根据第二特征信息构造第二状态变量；
当下一帧到来时，以预测位置为中心，设置一个半径为常数的预搜索区域， 随后在这个预搜索区域内利用最小欧氏距离进行目标搜索，以获得最佳的匹配对 象。在下一帧中搜索出与目标距离最近的运动对象后，利用新的参数更新目标的 特征信息，此处所述特征信息即为第二特征信息，所述状态变量即为第二状态变 量。根据第二特征信息构造第二状态变量。
所述第二特征信息包括选取所述目标特征的中心点、像素均值和速度来构造 状态变量，优先选择中心点，并计算出相应的状态转移矩阵和测量矩阵。
S6：返回步骤S3，直到获得最终位置，并根据需要将所获真实位置和最终 位置全部显示，即为目标的运动轨迹。
将第二特征信息作为初始值，不断迭代直至获得最终位置。所述最终位置， 是由监控人员设置的时间节点所对应的最终位置，根据不同时间节点所述最终位 置不同。
在上述步骤执行后，即实现目标的轨迹跟踪。如果目标体温异常，远程监控 人员通过该上位机即可实时、快速的发现体温异常人员。
优选的，本发明中的基于智慧AI测温的轨迹跟踪方法在基于智慧AI测温的 轨迹跟踪系统中运行。
该预警系统可实现30毫秒以内完成多个目标测温，同时可对最多16个目标 进行实时测温，实现智能自动测温以及轨迹跟踪的功能，达到体温预警的目的。 并且，以非接触、无感知的方式，可靠、高效地解决了在公共场所人员高度聚集、 高流动性情况下的体温实时初筛检测问题。本申请发明不仅适用于学校，同理适 用于多人出入的其它场所，如工厂、商场、电影院、博物馆、游乐园等。远程监 控人员通过基于智慧AI测温的轨迹跟踪系统可以实时、快速的发现体温异常学 生。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是 可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性 计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流 程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它 介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括 只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除 可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者 外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态 RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线 动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实 施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的 组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进， 这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求 为准。

Claims (9)

1.一种基于智慧AI测温的轨迹跟踪方法，其特征在于，包括4个计算模块：智能测温模块、状态估计模块、位置预测模块、实时跟踪模块；并包括以下步骤：
S1：采集视频流，对视频流进行解码得到至少2帧以上的可见光图像，所述可见光图像按照时间排序；
S2：由智能测温模块对可见光图像中的目标提取温度值并显示；
S3：将目标执行所述状态估计模块，根据第一特征信息构造第一状态变量；
S4：将执行S3步骤后的目标执行所述位置预测模块，根据所述第一状态变量对目标进行预测，得到所述目标的预测位置；
S5：根据所述预测位置判断目标在下一帧可见光图像的真实位置，在下一帧可见光图像搜索出与目标距离最近的运动对象，重新获取该运动对象的第二特征信息，根据第二特征信息构造第二状态变量；
S6：返回步骤S3，直到获得最终位置，并根据需要将所获真实位置和最终位置全部显示，即为目标的运动轨迹。
2.如权利要求1所述的基于智慧AI测温的轨迹跟踪方法，其特征在于，所述步骤S1中的可见光图像由球幕相机获取，包括球幕相机拍摄得到的球幕视频流解码后得到的可见光图像。
3.如权利要求1所述的基于智慧AI测温的轨迹跟踪方法，其特征在于，所述步骤S3中的第一特征信息包括目标的中心点、像素均值和/或速度；根据第一特征信息确定第一状态变量包括选择中心点，计算出相应的状态转移矩阵和测量矩阵，运算公式；
g(x,y,v)＝ax+by+cv (1-1)
h(x,y,v)＝dx+ey+fv (1-2)
其中g(x,y,v)表示状态转移矩阵，h(x,y,v)表示测量矩阵，x表示中心点位置，y表示像素均值，v表示速度，其它字母为常量，b、e大于0。
4.如权利要求1所述的基于智慧AI测温的轨迹跟踪方法，其特征在于，所述步骤S4中的利用卡尔曼滤波法对可见光图像的目标进行预测，具体为利用前一帧可见光图像的目标可对当前帧对应目标进行预测，再利用当前帧可见光图像中的备选目标作为预测值的观测值，利用卡尔曼滤波法基于前一帧的目标的预测值和当前帧的备选目标的观测值以及备选目标与目标间的对应关系实现对预测值的修正。
5.如权利要求1所述的基于智慧AI测温的轨迹跟踪方法，其特征在于，所述步骤S5中以预测位置为中心，设置一个半径为常数的预搜索区域，随后在这个预搜索区域内利用最小欧氏距离进行目标搜索，以获得最佳的匹配对象。
6.如权利要求1所述的基于智慧AI测温的轨迹跟踪方法，其特征在于，所述步骤S6中的所述最终位置，是指设置的时间节点所对应的最终位置。
7.一种基于智慧AI测温的轨迹跟踪系统，其特征在于，包括：球幕相机、红外图像采集装置、显示器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于智慧AI测温的轨迹跟踪方法的步骤。
8.根据权利要求7所述的基于智慧AI测温的轨迹跟踪系统，其特征在于，所述存储器或处理器可为上位机或数据库服务器。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于智慧AI测温的轨迹跟踪方法的步骤。
CN202110260879.3A 2021-03-10 2021-03-10 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质 Pending CN113052869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110260879.3A CN113052869A (zh) 2021-03-10 2021-03-10 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110260879.3A CN113052869A (zh) 2021-03-10 2021-03-10 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN113052869A true CN113052869A (zh) 2021-06-29

Family

ID=76511198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110260879.3A Pending CN113052869A (zh) 2021-03-10 2021-03-10 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113052869A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608080A (zh) * 2021-07-19 2021-11-05 西安工业大学 一种地下管廊输电线路故障检测机器人
CN114054709A (zh) * 2021-11-17 2022-02-18 成都星云智联科技有限公司 一种铸坯识别和跟踪的方法、设备及存储介质
CN114152349A (zh) * 2021-11-30 2022-03-08 深圳Tcl新技术有限公司 温度测量方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205815A (zh) * 2015-09-15 2015-12-30 西安理工大学 基于云台可控制摄像机的实时视频跟踪系统及跟踪方法
US20170344833A1 (en) * 2014-12-05 2017-11-30 Imafor Ab Method and system for identifying an individual with increased body temperature
CN110321937A (zh) * 2019-06-18 2019-10-11 哈尔滨工程大学 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法
CN112085534A (zh) * 2020-09-11 2020-12-15 中德（珠海）人工智能研究院有限公司 一种关注度分析方法、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170344833A1 (en) * 2014-12-05 2017-11-30 Imafor Ab Method and system for identifying an individual with increased body temperature
CN105205815A (zh) * 2015-09-15 2015-12-30 西安理工大学 基于云台可控制摄像机的实时视频跟踪系统及跟踪方法
CN110321937A (zh) * 2019-06-18 2019-10-11 哈尔滨工程大学 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法
CN112085534A (zh) * 2020-09-11 2020-12-15 中德（珠海）人工智能研究院有限公司 一种关注度分析方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张达: "图像处理中基于多信息融合的目标定位方法的研究及应用", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》, 15 June 2012 (2012-06-15), pages 138 - 41 *
袁浩期: "基于图像融合的流动人群体温检测系统设计", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》, 15 February 2020 (2020-02-15), pages 030 - 149 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608080A (zh) * 2021-07-19 2021-11-05 西安工业大学 一种地下管廊输电线路故障检测机器人
CN113608080B (zh) * 2021-07-19 2024-03-12 西安工业大学 一种地下管廊输电线路故障检测机器人
CN114054709A (zh) * 2021-11-17 2022-02-18 成都星云智联科技有限公司 一种铸坯识别和跟踪的方法、设备及存储介质
CN114152349A (zh) * 2021-11-30 2022-03-08 深圳Tcl新技术有限公司 温度测量方法、装置、存储介质及电子设备
CN114152349B (zh) * 2021-11-30 2023-11-14 深圳Tcl新技术有限公司 温度测量方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN103971386B (zh) 一种动态背景场景下的前景检测方法
CN113052869A (zh) 一种基于智慧ai测温的轨迹跟踪方法、系统及存储介质
WO2018133666A1 (zh) 视频目标跟踪方法和装置
Cannons A review of visual tracking
US9602783B2 (en) Image recognition method and camera system
CN111862296B (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN104601964A (zh) 非重叠视域跨摄像机室内行人目标跟踪方法及系统
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN111382613B (zh) 图像处理方法、装置、设备和介质
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
Gallego et al. Event-based, 6-dof camera tracking for high-speed applications
JP2018077807A (ja) 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN113343985A (zh) 车牌识别方法和装置
CN116704273A (zh) 一种自适应红外可见光双模融合检测方法
CN113008380B (zh) 一种智慧ai体温预警方法、系统及存储介质
US20210312200A1 (en) Systems and methods for video surveillance
CN112418251B (zh) 红外体温检测方法及系统
JP7074174B2 (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
WO2021084972A1 (ja) 物体追跡装置および物体追跡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210629

RJ01 Rejection of invention patent application after publication