CN112308023B - 识别行人运动的方法、装置和设备 - Google Patents

识别行人运动的方法、装置和设备 Download PDF

Info

Publication number
CN112308023B
CN112308023B CN202011317300.4A CN202011317300A CN112308023B CN 112308023 B CN112308023 B CN 112308023B CN 202011317300 A CN202011317300 A CN 202011317300A CN 112308023 B CN112308023 B CN 112308023B
Authority
CN
China
Prior art keywords
person
hotspot
thermopile array
data packet
hot spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011317300.4A
Other languages
English (en)
Other versions
CN112308023A (zh
Inventor
姚生意
刘经济
朱文鲁
张程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wiwide Network Technology Co ltd
Original Assignee
Shanghai Wiwide Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wiwide Network Technology Co ltd filed Critical Shanghai Wiwide Network Technology Co ltd
Priority to CN202011317300.4A priority Critical patent/CN112308023B/zh
Publication of CN112308023A publication Critical patent/CN112308023A/zh
Application granted granted Critical
Publication of CN112308023B publication Critical patent/CN112308023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

识别行人运动的方法、装置和设备，所述方法包括：算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；从经初步处理后的帧数据包中确定人物热点；分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类。本发明省去了机器学习的训练成本，节省了训练过程的算力，同时运行时的反应速度也更快。

Description

识别行人运动的方法、装置和设备
技术领域
本发明涉及目标检测技术领域，特别是涉及一种识别行人运动的方法、装置和设备。
背景技术
客流分析指的是对场所客流数量、身份等信息进行分析。随着数字化运营的崛起，线下商场、门店、公共交通等场所，对于客流分析的需求日益增加。客流分析设备给运营者提供了精准专业的客流数据，帮助运营者对客流进行有科学依据的分析。将分析结论反哺到日常的运营和管理中，使其抉择更加有依据、可量化。
客流分析设备通过传感器来采集数据，并对所采集的数据进行处理，来识别人物进入/离开预定区域的行为，进而统计得出进入/离开预定区域人次等信息。实践中，客流分析设备具体可以通过热电堆阵列传感器来采集数据。
在通过热电堆阵列传感器采集数据后，需要通过算法处理从采集到的数据中识别行人运动(我们将这种“从采集到的(热电堆阵列)数据中识别行人运动”的算法称为“识别行人运动的算法”)。
现有技术中，识别行人运动的算法通常是通过机器学习的方式训练得到的。举例来说，在《Thermal Image-Based CNN’s for Ultra-Low Power People Recognition》中采用训练后的卷积神经网络来识别行人运动并跟踪，经实验表明其识别效果“completelyerror-free detection on 53.7％of the test images and an error bound within±1detection in 84.4％of the images(即准确率较低)”；又如，在《Occupancy EstimationUsing a Low-Pixel Count Thermal Imager》中也是通过机器学习的方式来得到识别行人运动的算法，经实验表明其识别效果在最好的“machine learning classifier”上“the K*algorithm was found to be the best classifier,with an accuracy of 82.56％anda RMSE of 0.304(即准确率较低)”。
通过以上2个例子可以看到，现有技术中识别行人运动的算法准确率较低。
同时，通过机器学习的方式训练得到识别行人运动的算法还存在其它多方面的缺陷，例如训练成本高(训练过程需要耗费大量的算力)、识别及跟踪过程反应速度慢等缺陷。
发明内容
本发明解决的技术问题是：如何准确且快速的从采集到的(热电堆阵列)数据中识别行人运动。
为了解决上述技术问题，本发明实施例提供一种识别行人运动的方法，包括：
得到用于识别行人运动的算法；
采用所述算法，来从采集到的热电堆阵列数据中识别行人运动；
其中，所述算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：
消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；
从经初步处理后的帧数据包中确定人物热点；
分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；
当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类。
可选的，所述消除或部分消除热电堆阵列数据的各个帧数据包中的噪点包括：将热电堆阵列数据的帧数据包中的每一行减去最小值和/或将热电堆阵列数据的帧数据包中的每一列减去最小值。
可选的，所述从经初步处理后的帧数据包中确定人物热点包括：
从经初步处理后的帧数据包中寻找候选热点；
分别对各个候选热点进行分析，以确定其是否为人物热点。
可选的，所述从经初步处理后的帧数据包中确定人物热点包括：
通过寻找潜在热点finding potential hot spots和连通区域分析connectedcomponents analysis来寻找比所有领边大于或等于的热点，作为候选热点。
可选的，所述分别对各个候选热点进行分析，以确定其是否为人物热点包括：
比较横或纵行的中位数高temp Tolerance值的温度，来分别确定各个候选热点是否为人物热点。
可选的，所述分别对各个候选热点进行分析，以确定其是否为人物热点还包括：
通过连通区域connected components和特征提取feature extraction来对各个人物热点进行分析，以进一步确定其是否是人物热点。
可选的，所述分别确定各个人物热点在热电堆阵列数据中的移动轨迹包括：根据人物热点在热电堆阵列数据的各个帧数据包中的位置，来确定该人物热点在热电堆阵列数据中的移动轨迹。
可选的，所述分别确定各个人物热点在热电堆阵列数据中的移动轨迹还包括：分别将各个人物热点在热电堆阵列数据中的移动轨迹与各个已跟踪的人物热点的移动轨迹进行匹配；若匹配成功，则将该移动轨迹加入到与其匹配的已跟踪的人物热点的移动轨迹中；若未能匹配成功，则新建一个已跟踪的人物热点，并以该移动轨迹作为该新建的已跟踪的人物热点的移动轨迹。
可选的，所述分析该人物热点的移动轨迹并对该人物热点进行归类至少分为以下几类：进入预定区域、离开预定区域和异常移动轨迹。
可选的，所述分析该人物热点的移动轨迹并对该人物热点进行归类包括：根据移动轨迹的轨迹长度、轨迹上不同位置的数量、最老和最新位置差、反方向移动距离与正方向移动距离之间的比例、一次跳两格或两格以上的情况的出现次数、最远和最近的位置距离大小，来确定是否为异常移动轨迹。
为了解决上述技术问题，本发明实施例还提供一种识别行人运动的装置，包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
得到用于识别行人运动的算法；
采用所述算法，来从采集到的热电堆阵列数据中识别行人运动；
其中，所述算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：
消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；
从经初步处理后的帧数据包中确定人物热点；
分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；
当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类。
为了解决上述技术问题，本发明实施例还提供一种识别行人运动的设备，所述识别行人运动的设备采用如上所述的识别行人运动的方法来从采集到的热电堆阵列数据中识别行人运动。
与现有技术相比，本发明的技术方案具有以下有益效果：
算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；从经初步处理后的帧数据包中确定人物热点；分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类，从而省去了机器学习的训练成本，节省了训练过程的算力，同时运行时的反应速度也更快。
进一步的，将热电堆阵列数据的帧数据包中的每一行减去最小值和/或将热电堆阵列数据的帧数据包中的每一列减去最小值，从而使数据尽可能早的减少有规律的噪点，算法的防噪性强，且有利于减小运算量。
进一步的，通过寻找潜在热点finding potential hot spots和连通区域分析connected components analysis来寻找比所有领边大于或等于的热点，作为候选热点；比较横或纵行的中位数高temp Tolerance值的温度，来分别确定各个候选热点是否为人物热点；通过连通区域connected components和特征提取feature extraction来对各个人物热点进行分析，以进一步确定其是否是人物热点，上述过程中采用单帧识别而后将单帧信息串联的方式，既减小了运算量，同时又提高了准确率。
进一步的，对各个人物热点的移动轨迹进行跟踪、匹配，并在移动轨迹结束后排除异常移动轨迹，使得算法具有更高的准确性。
附图说明
图1为本发明实施例中识别行人运动的方法流程图；
图2为本发明实施例中算法从采集到的热电堆阵列数据中识别行人运动流程图；
图3为本发明实施例中算法的数据流示意图。
具体实施方式
根据背景技术部分的分析可知，现有技术中，识别行人运动的算法通常是通过机器学习的方式训练得到的。
现有技术方案识别行人运动的算法准确率较低，且还存在其它多方面的缺陷。具体的，现有技术方案通常存在以下几点缺陷：
1)需要标注大量数据，数据准备很繁琐(例如在《Thermal Image-Based CNN’sfor Ultra-Low Power People Recognition》中标了3000个图片)，且准确度取决于标注数据的质量，若标注数据种类局限，模型很容易过适；
2)很难针对个别特殊数据情况进行调试；
3)反应速度慢；
4)训练成本很高，需要很多的算力。
尤其是对于分辨率低和/或存在噪点的热电堆阵列数据而言，现有技术方案中通过机器学习的方式训练得到的识别行人运动的算法的方式效果并不理想，且机器学习所需的学习成本高(即训练过程的成本高)，运行环境严苛。
本发明算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；从经初步处理后的帧数据包中确定人物热点；分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类，从而省去了机器学习的训练成本，节省了训练过程的算力，同时运行时的反应速度也更快。
进一步的，采用单帧识别而后将单帧信息串联的方式，既减小了运算量，同时又提高了准确率。
采用本发明的方案所得到的识别行人运动的算法可以达到95％的识别准确率(即在识别准确率方面远超现有技术方案)，而且对运行环境的要求不高(对运行环境没有特别的要求)，在普通的PC机甚至是在资源受限的边缘设备上也能够发挥作用。本发明的方案(相对于现有技术中通过机器学习的方式训练得到识别行人运动的算法的方案而言)具备以下多方面的优势：
1)无需标注数据；
2)在有特殊数据的情况下很容易根据此情况调整算法，以适配此类新数据情况；
3)反应速度很快(识别过程中采用单帧识别、而后将单帧信息串联)；
4)成本低，并且因算法速度快，因而运行时算力要求低。
为使本领域技术人员更好地理解和实现本发明，以下参照附图，通过具体实施例进行详细说明。
实施例一
如下所述，本发明实施例提供一种识别行人运动的方法。
参照图1所示的识别行人运动的方法流程图：
S101，得到用于识别行人运动的算法。
在通过热电堆阵列传感器采集数据后，需要通过算法处理从采集到的数据中识别行人运动。本实施例中预先建立用于从采集到的热电堆阵列数据中识别行人运动的算法。
与现有技术的不同之处在于，本实施例中摒弃了现有技术中机器学习的方案，节省了机器学习的训练成本，并通过一系列的技术手段来加快算法的运算速度、提高算法的准确率，同时具有更好的防噪性和可塑性(使用模块化设计使算法易调整)，后文中会对该算法作具体的展开分析。
S102，采用所述算法，来从采集到的热电堆阵列数据中识别行人运动。
客流分析设备(或者是其它设备，本发明对此不作限定)通过热电堆阵列传感器采集数据，而后通过上述预先准备好的算法来从采集到的热电堆阵列数据中识别行人运动。
参照图2所示的算法从采集到的热电堆阵列数据中识别行人运动流程图(期间算法的数据流可参考图3)，以下通过具体步骤进行详细说明：
原始数据是热电堆阵列传感器采集的一帧(帧数据包)。
S201，消除或部分消除热电堆阵列数据的各个帧数据包中的噪点。
消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包。
提高识别精度是本领域的一个难点，因为采集的数据有很多随机和固定的噪点，噪点很多时候和人物热点形状相似，很难区分它们并使识别达到很高的准确度。
在一些实施例中，所述消除或部分消除热电堆阵列数据的各个帧数据包中的噪点具体可以包括：将热电堆阵列数据的帧数据包中的每一行减去最小值和/或将热电堆阵列数据的帧数据包中的每一列减去最小值。
上述初步处理能够从低分辨率且存在噪点的热电堆阵列数据中去除有规律性的噪点(如门内外温差、设备初启动时的上下的温差等)，以平均上下温差，以平均左右温差。
也就是说，本实施例的方案能够即便是从低分辨率且存在噪点的热电堆阵列数据中也能够以较高的准确率完成人物热点的识别以及跟踪。
通过以上对技术方案的描述可以看出：本实施例中，将热电堆阵列数据的帧数据包中的每一行减去最小值和/或将热电堆阵列数据的帧数据包中的每一列减去最小值，从而使数据尽可能早的减少有规律的噪点，算法的防噪性强，且有利于减小运算量。
S202，从经初步处理后的帧数据包中确定人物热点。
识别是一个重要的步骤，因为识别直接影响了能否判定数据中是否存在人物和人物所在的位置，进而影响整个人物进出的准确度。
关于该步骤具体的实施过程，在一些实施例中，所述从经初步处理后的帧数据包中确定人物热点具体可以包括：
从经过初步处理后的帧数据包中寻找候选热点；
分别对各个候选热点进行分析，以确定其是否为人物热点。
进一步的，所述从经初步处理后的帧数据包中确定人物热点还可以包括：
通过寻找潜在热点finding potential hot spots和连通区域分析connectedcomponents analysis(参考《Hierarchical Classification of Low ResolutionThermal Images for Occupancy Estimation》)来寻找比所有领边大于或等于的热点，作为候选热点。
其中，关于该步骤具体的实施过程，所述分别对各个候选热点进行分析，以确定其是否为人物热点包括：
比较横或纵行的中位数高temp Tolerance值的温度，来分别确定各个候选热点是否为人物热点。
进一步的，所述分别对各个候选热点进行分析，以确定其是否为人物热点还可以包括：
通过连通区域connected components(参考《Tracking Motion and Proxemicsusing Thermal-sensor Array》)和特征提取feature extraction来对各个人物热点进行分析，以进一步确定其是否是人物热点。
通过以上对技术方案的描述可以看出：本实施例中，通过寻找潜在热点findingpotential hot spots和连通区域分析connected components analysis来寻找比所有领边大于或等于的热点，作为候选热点；比较横或纵行的中位数高temp Tolerance值的温度，来分别确定各个候选热点是否为人物热点；通过连通区域connected components和特征提取feature extraction来对各个人物热点进行分析，以进一步确定其是否是人物热点，上述过程中采用单帧识别而后将单帧信息串联的方式，既减小了运算量，同时又提高了准确率。
S203，分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪。
人物追踪的主要难点在于多人的情况下，有时会难以准确地更新轨迹，但是在识别准确度提高后，追踪的难度也会减小。
关于该步骤具体的实施过程，在一些实施例中，所述分别确定各个人物热点在热电堆阵列数据中的移动轨迹具体可以包括：根据人物热点在热电堆阵列数据的各个帧数据包中的位置，来确定该人物热点在热电堆阵列数据中的移动轨迹。
进一步的，所述分别确定各个人物热点在热电堆阵列数据中的移动轨迹还可以包括：分别将各个人物热点在热电堆阵列数据中的移动轨迹与各个已跟踪的人物热点的移动轨迹进行匹配；若匹配成功，则将该移动轨迹加入到与其匹配的已跟踪的人物热点的移动轨迹中；若未能匹配成功，则新建一个已跟踪的人物热点，并以该移动轨迹作为该新建的已跟踪的人物热点的移动轨迹(参考《Very low cost infrared array-based detectionand imaging systems》)。
本实施例通过步骤S202中的单帧识别与步骤S203中将单帧信息串联在一起(得到一个增加了时间线的三维数据)，使得算法运行时的反应速度显著提高，再结合步骤S202中通过连通区域connected components和特征提取feature extraction来区分人物与噪点，以及后续步骤S204中筛选排除异常移动轨迹，最终既实现了95％左右的识别准确率(远超现有技术)，又比现有技术方案的运行速度快得多。同时如前所述，还具备节省训练成本、防噪性强、可塑性强等优势。
当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，进入步骤S204。
S204，分析该人物热点的移动轨迹并对该人物热点进行归类。
当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类。
在一些实施例中，所述分析该人物热点的移动轨迹并对该人物热点进行归类至少分为以下几类：进入预定区域、离开预定区域和异常移动轨迹。
也就是说，该算法会输出运动方向，即将进入预定区域和离开预定区域区分开。
可以理解的是，客流分析设备在统计客流量时统计的是进入/离开预定区域的人次，而异常移动轨迹则不计入客流量。
在一些实施例中，具体可以根据移动轨迹的轨迹长度、轨迹上不同位置的数量、最老和最新位置差、反方向移动距离与正方向移动距离之间的比例、一次跳两格或两格以上的情况的出现次数、最远和最近的位置距离大小，来判断是否为异常移动轨迹。
也就是说，在移动轨迹消失后进行轨迹分析，轨迹分析会从已有移动轨迹数据中提取符合以下6个标准的合格数据，在一些实施例中，具体的标准可以是：
1)轨迹长度>＝trajectory_len_thershold(默认为4)。
2)轨迹上不同位置的数量>numThreshold(默认为3)。
3)最老和最新位置差>＝numThreshold(默认为3)。
4)轨迹方向是一直的(反方向移动距离/正方向移动距离<＝1/5)。
5)一次跳两格或者以上的情况小于3。
6)最远和最近的位置距离大于2。
提取同时符合这6个标准的数据作为合格数据(再将合格数据进一步归为进入预定区域和离开预定区域)，而其它数据则归为异常移动轨迹数据。
通过以上对技术方案的描述可以看出：本实施例中，算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；从经初步处理后的帧数据包中确定人物热点；分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类，从而省去了机器学习的训练成本，节省了训练过程的算力，同时运行时的反应速度也更快。
进一步的，对各个人物热点的移动轨迹进行跟踪、匹配，并在移动轨迹结束后排除异常移动轨迹，使得算法具有更高的准确性。
实施例二
如下所述，本发明实施例提供一种识别行人运动的装置。
识别行人运动的装置包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
得到用于识别行人运动的算法；
采用所述算法，来从采集到的热电堆阵列数据中识别行人运动；
其中，所述算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：
消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；
从经初步处理后的帧数据包中确定人物热点；
分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；
当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类。
通过以上对技术方案的描述可以看出：本实施例中，算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；从经初步处理后的帧数据包中确定人物热点；分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪；当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类，从而省去了机器学习的训练成本，节省了训练过程的算力，同时运行时的反应速度也更快。
实施例三
如下所述，本发明实施例提供一种识别行人运动的设备。
与现有技术的不同之处在于，该识别行人运动的设备采用如本发明实施例中所提供的识别行人运动的方法来从采集到的热电堆阵列数据中识别行人运动。因而识别行人运动的设备能够省去了机器学习的训练成本，节省了训练过程的算力，同时运行时的反应速度也更快。
本领域普通技术人员可以理解，上述实施例的各种方法中，全部或部分步骤是可以通过程序指令相关的硬件来完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (6)

1.一种识别行人运动的方法，其特征在于，包括：
得到用于识别行人运动的算法；
采用所述算法，来从采集到的热电堆阵列数据中识别行人运动；
其中，所述算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：
消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；
从经初步处理后的帧数据包中确定人物热点，包括：从经初步处理后的帧数据包中寻找候选热点；分别对各个候选热点进行分析，以确定其是否为人物热点；通过连通区域connected components和特征提取feature extraction来对各个人物热点进行分析，以进一步确定其是否是人物热点；
分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪，包括：根据人物热点在热电堆阵列数据的各个帧数据包中的位置，来确定该人物热点在热电堆阵列数据中的移动轨迹；
当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类，包括：根据移动轨迹的轨迹长度、轨迹上不同位置的数量、最老和最新位置差、反方向移动距离与正方向移动距离之间的比例、一次跳两格或两格以上的情况的出现次数以及最远和最近的位置距离大小，来确定是否为异常移动轨迹。
2.如权利要求1所述的识别行人运动的方法，其特征在于，所述消除或部分消除热电堆阵列数据的各个帧数据包中的噪点包括：将热电堆阵列数据的帧数据包中的每一行减去最小值和/或将热电堆阵列数据的帧数据包中的每一列减去最小值。
3.如权利要求1所述的识别行人运动的方法，其特征在于，所述分别确定各个人物热点在热电堆阵列数据中的移动轨迹还包括：分别将各个人物热点在热电堆阵列数据中的移动轨迹与各个已跟踪的人物热点的移动轨迹进行匹配；若匹配成功，则将该移动轨迹加入到与其匹配的已跟踪的人物热点的移动轨迹中；若未能匹配成功，则新建一个已跟踪的人物热点，并以该移动轨迹作为该新建的已跟踪的人物热点的移动轨迹。
4.如权利要求1所述的识别行人运动的方法，其特征在于，所述分析该人物热点的移动轨迹并对该人物热点进行归类至少分为以下几类：进入预定区域、离开预定区域和异常移动轨迹。
5.一种识别行人运动的装置，其特征在于，包括：
处理器，适于加载并执行软件程序的指令；
存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：
得到用于识别行人运动的算法；
采用所述算法，来从采集到的热电堆阵列数据中识别行人运动；
其中，所述算法通过以下方式来从采集到的热电堆阵列数据中识别行人运动，包括：
消除或部分消除热电堆阵列数据的各个帧数据包中的噪点，得到经初步处理后的帧数据包；
从经初步处理后的帧数据包中确定人物热点，包括：从经初步处理后的帧数据包中寻找候选热点；分别对各个候选热点进行分析，以确定其是否为人物热点；通过连通区域connected components和特征提取feature extraction来对各个人物热点进行分析，以进一步确定其是否是人物热点；
分别确定各个人物热点在热电堆阵列数据中的移动轨迹并对移动轨迹进行跟踪，包括：根据人物热点在热电堆阵列数据的各个帧数据包中的位置，来确定该人物热点在热电堆阵列数据中的移动轨迹；
当通过对移动轨迹进行跟踪发现某个人物热点从后续的帧数据包中消失时，分析该人物热点的移动轨迹并对该人物热点进行归类，包括：根据移动轨迹的轨迹长度、轨迹上不同位置的数量、最老和最新位置差、反方向移动距离与正方向移动距离之间的比例、一次跳两格或两格以上的情况的出现次数以及最远和最近的位置距离大小，来确定是否为异常移动轨迹。
6.一种识别行人运动的设备，其特征在于，采用权利要求1至4中任一项所述的识别行人运动的方法来从采集到的热电堆阵列数据中识别行人运动。
CN202011317300.4A 2020-11-20 2020-11-20 识别行人运动的方法、装置和设备 Active CN112308023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317300.4A CN112308023B (zh) 2020-11-20 2020-11-20 识别行人运动的方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317300.4A CN112308023B (zh) 2020-11-20 2020-11-20 识别行人运动的方法、装置和设备

Publications (2)

Publication Number Publication Date
CN112308023A CN112308023A (zh) 2021-02-02
CN112308023B true CN112308023B (zh) 2023-06-20

Family

ID=74334320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317300.4A Active CN112308023B (zh) 2020-11-20 2020-11-20 识别行人运动的方法、装置和设备

Country Status (1)

Country Link
CN (1) CN112308023B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400157B (zh) * 2013-07-23 2017-02-08 青岛海信网络科技股份有限公司 一种基于视频分析的道路行人及非机动车检测方法
CN106384078B (zh) * 2016-08-31 2019-04-30 重庆大龙网科技集团有限公司 一种基于红外阵列的人流行为分析系统的人流行为分析方法
WO2018056894A1 (en) * 2016-09-21 2018-03-29 Unitech Mechatronics Pte Ltd Thermopile array sensor for motion tracking and its application
CN107358166B (zh) * 2017-06-16 2023-05-26 华南理工大学 一种扶梯口客流拥堵检测装置及其客流拥堵程度判别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728702A (zh) * 2019-08-30 2020-01-24 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统

Also Published As

Publication number Publication date
CN112308023A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN105938622B (zh) 检测运动图像中的物体的方法和装置
CN109644255B (zh) 标注包括一组帧的视频流的方法和装置
Stalder et al. Cascaded confidence filtering for improved tracking-by-detection
CN107798272B (zh) 快速多目标检测与跟踪系统
CN110334569B (zh) 客流量进出识别方法、装置、设备及存储介质
CN105574543B (zh) 一种基于深度学习的车辆品牌型号识别方法和系统
CN102496001B (zh) 一种视频监控目标自动检测的方法和系统
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
KR101697161B1 (ko) 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
CN106919902B (zh) 一种基于cnn的车辆识别和轨迹追踪方法
JP5931662B2 (ja) 道路状況監視装置、及び道路状況監視方法
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
CN111401308B (zh) 一种基于光流效应的鱼类行为视频识别方法
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN111223129A (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN111507232B (zh) 多模态多策略融合的陌生人识别方法和系统
CN106570490A (zh) 一种基于快速聚类的行人实时跟踪方法
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN110991397A (zh) 一种行进方向确定方法及相关设备
CN114463390A (zh) 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法
Radiuk et al. Convolutional neural network for parking slots detection
Sheng et al. Real-time anti-interference location of vehicle license plates using high-definition video
CN112308023B (zh) 识别行人运动的方法、装置和设备
CN116416565A (zh) 一种特定区域行人尾随及翻越检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant