CN112287808B - 运动轨迹分析告警方法、装置、系统及存储介质 - Google Patents

运动轨迹分析告警方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN112287808B
CN112287808B CN202011164863.4A CN202011164863A CN112287808B CN 112287808 B CN112287808 B CN 112287808B CN 202011164863 A CN202011164863 A CN 202011164863A CN 112287808 B CN112287808 B CN 112287808B
Authority
CN
China
Prior art keywords
target body
image
track
detection frame
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011164863.4A
Other languages
English (en)
Other versions
CN112287808A (zh
Inventor
王倬遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yuncongxihe Artificial Intelligence Co ltd
Original Assignee
Jiangsu Yuncongxihe Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yuncongxihe Artificial Intelligence Co ltd filed Critical Jiangsu Yuncongxihe Artificial Intelligence Co ltd
Priority to CN202011164863.4A priority Critical patent/CN112287808B/zh
Publication of CN112287808A publication Critical patent/CN112287808A/zh
Application granted granted Critical
Publication of CN112287808B publication Critical patent/CN112287808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Abstract

本发明涉及图像处理技术领域，具体提供了一种运动轨迹分析告警方法、装置、系统及计算机可读存储介质，旨在解决如何准确地对目标区域进行安全监控的技术问题。为此目的，根据本发明实施例的方法，通过对图像检测区域的每帧待检测图像进行人体和/或灯光和/或运动物体识别与运动轨迹分析，即使在光照条件较差的环境下也能够准确地从所有运动轨迹中分析出是否存在进入到预设的告警区域内的行人轨迹/灯光轨迹并能够选择性地进行告警。并且，本发明实施例的方法可以利用目标区域内已安装的图像/视频采集装置进行目标体运动轨迹分析，无需单独部署图像/视频采集装置，既提高了这些图像/视频采集装置的复用率，还极大地降低了目标区域的监控成本。

Description

运动轨迹分析告警方法、装置、系统及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种运动轨迹分析告警方法、装置、系统及计算机可读存储介质。
背景技术
在安全等级要求较高的区域如铁路、军事基地等区域通常会设置周界入侵报警系统进行外物如行人的入侵检测与报警，以防止非法的入侵与破坏。目前常规的周界入侵报警系统主要是对目标区域内图像采集装置采集到的图像进行行人检测，根据行人检测的结果判断是否有行人进入到目标区域。然而，由于铁路线路分布广泛致使沿线环境差异较大，在光照条件较差如夜晚或树木山林遮挡等环境下，会导致图像采集装置采集的图像质量下降(例如：图像亮度降低、图像模糊度增加等)，进而影响周界入侵报警系统对图像进行行人检测的准确性，导致周界入侵报警系统发生误报警或漏报警。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决在目标区域的图像质量较差的情况下如何对图像进行准确的外物如行人检测，判断该行人是否进入到目标区域，以对目标区域进行安全监控的技术问题的运动轨迹分析告警方法、装置、系统及计算机可读存储介质。
第一方面，提供一种运动轨迹分析告警方法，所述方法包括：
分别对当前图像检测区域的每帧待检测图像进行目标体识别；
根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析；
根据运动轨迹分析的结果判断是否存在进入到所述当前图像检测区域内的告警区域的行人轨迹或灯光轨迹；
若是，则进行告警；
其中，所述目标体包括人体和/或灯光和/或运动物体。
在上述运动轨迹分析告警方法的一个技术方案中，“分别对当前图像检测区域的每帧待检测图像进行目标体识别”的步骤具体包括：
分别对每帧待检测图像进行人体检测；
如果当前待检测图像的检测结果是未检测到人体，则判断所述当前待检测图像的图像类型是否为夜晚图像或红外图像；
若是，则对所述当前待检测图像进行灯光检测和/或运动物体检测；
或者，“分别对当前图像检测区域的每帧待检测图像进行目标体识别”的步骤具体包括：
获取每帧待检测图像的图像类型；
若当前待检测图像的图像类型是夜晚图像或红外图像，则对所述当前待检测图像进行人体检测以及对所述当前待检测图像进行灯光检测和/或运动物体检测；否则，对所述当前待检测图像进行人体检测。
在上述运动轨迹分析告警方法的一个技术方案中，“分别对当前图像检测区域的每帧待检测图像进行目标体识别”的步骤具体包括：
分别对每帧待检测图像进行目标体检测；
若当前待检测图像包含目标体画面，则根据所述目标体画面获取在所述当前待检测图像中的目标体检测框；
根据所述目标体检测框输出目标体识别结果；
其中，所述目标体检测框包括人体检测框和/或灯光检测框和/或运动物体检测框。
在上述运动轨迹分析告警方法的一个技术方案中，在“根据所述目标体检测框输出目标体识别结果”的步骤之前，所述方法还包括：
判断获取到的目标体检测框中是否存在区域交叠的检测框；
若存在，则对所述存在区域交叠的检测框进行合并处理。
在上述运动轨迹分析告警方法的一个技术方案中，“对所述存在区域交叠的检测框进行合并处理”的步骤具体包括：
如果所述存在区域交叠的检测框包括人体检测框、灯光检测框与运动物体检测框，则分别获取所述人体检测框、所述灯光检测框与所述运动物体检测框各自对应的面积并且判断所述人体检测框的面积是否分别大于所述灯光检测框与所述运动物体检测框的面积；
若是，则对所述灯光检测框与所述运动物体检测框中面积较大的检测框以及所述人体检测框进行合并处理。
在上述运动轨迹分析告警方法的一个技术方案中，“根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析”的步骤具体包括：
分别对每帧待检测图像各自对应的目标体检测框进行跟踪匹配，根据跟踪匹配结果获取所述当前图像检测区域内的一个或多个目标体运动轨迹。
在上述运动轨迹分析告警方法的一个技术方案中，“根据运动轨迹分析的结果判断是否存在进入到所述当前图像检测区域内的告警区域的行人轨迹或灯光轨迹”的步骤具体包括：
根据当前图像检测区域内的告警区域获取所述当前图像检测区域内每帧待检测图像上所述告警区域对应的告警图像区域；
获取当前目标体运动轨迹对应的目标体检测框的特定点；
判断所述特定点是否落入所述告警图像区域；
若某个目标体检测框的特定点落入所述告警图像区域，则判定当前目标体运动轨迹进入到所述告警区域并且获取所述当前目标体运动轨迹的轨迹类型，根据所述轨迹类型判断是否存在进入到所述告警区域的行人轨迹或灯光轨迹；
其中，所述特定点包括所述目标体检测框的检测框中心点和/或所述目标体检测框的边界中心点。
在上述运动轨迹分析告警方法的一个技术方案中，“获取所述当前目标体运动轨迹的轨迹类型”的步骤具体包括：
根据当前目标体运动轨迹对应的每个目标体检测框各自对应的检测框类型和/或所述当前目标体运动轨迹的轨迹状态分析所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹状态包括运动速度和/或运行距离和/或运动方向。
在上述运动轨迹分析告警方法的一个技术方案中，“分析所述当前目标体运动轨迹的轨迹类型”的步骤具体包括：
若当前目标体运动轨迹对应的目标体检测框包括人体检测框，则直接判定所述当前目标体运动轨迹的轨迹类型是行人轨迹；
若当前目标体运动轨迹对应的目标体检测框未包括人体检测框，则根据所述轨迹状态分析当前目标体运动轨迹的轨迹类型。
在上述运动轨迹分析告警方法的一个技术方案中，“根据所述轨迹状态分析当前目标体运动轨迹的轨迹类型”的步骤具体包括：
获取所述当前目标体运动轨迹对应的目标体画面的图像特征；
根据所述图像特征以及所述当前目标体运动轨迹的运动速度和/或运行距离和/或运动方向构建所述当前目标体运动轨迹的特征向量；
利用分类算法并且根据所述特征向量对所述当前目标体运动轨迹的轨迹类型进行分类分析；
根据分类分析的结果获取所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹类型包括行人轨迹、灯光轨迹和运动物体轨迹。
在上述运动轨迹分析告警方法的一个技术方案中，在“判定当前目标体运动轨迹进入到所述告警区域”的步骤之后，所述方法还包括：
基于预设的每个轨迹类型各自对应的告警等级并且根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息；
其中，所述告警信息包括标注有特定目标体检测框的图像、目标体运动轨迹的轨迹类型、目标体运动轨迹的唯一标识信息以及所述告警区域的唯一标识信息；所述特定目标体检测框是特定点落入告警图像区域的目标体检测框。
在上述运动轨迹分析告警方法的一个技术方案中，在“根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息”的步骤之前，所述方法还包括：
根据当前告警区域的唯一标识信息获取所述当前告警区域的目标体运动轨迹的历史告警信息；
根据所述当前目标体运动轨迹的唯一标识信息判断所述历史告警信息中是否包含所述当前目标体运动轨迹的历史告警信息；
若存在，则不执行“根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息”的步骤；若不存在，则执行“根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息”。
第二方面，提供一种运动轨迹分析告警装置，所述装置包括：
目标体识别模块，其被配置成分别对当前图像检测区域的每帧待检测图像进行目标体识别；
第一运动轨迹分析模块，其被配置成根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析；
第二运动轨迹分析模块，其被配置成根据运动轨迹分析的结果判断是否存在进入到所述当前图像检测区域内告警区域的行人轨迹或灯光轨迹；若是，则进行告警；
其中，所述目标体包括人体和/或灯光和/或运动物体。
在上述运动轨迹分析告警装置的一个技术方案中，所述目标体识别模块包括第一目标体识别子模块和第二目标体识别子模块；
所述第一目标体识别子模块被配置成执行以下操作：
分别对每帧待检测图像进行人体检测；
如果当前待检测图像的检测结果是未检测到人体，则判断所述当前待检测图像的图像类型是否为夜晚图像或红外图像；
若是，则对所述当前待检测图像进行灯光检测和/或运动物体检测；
所述第二目标体识别子模块被配置成执行以下操作：
获取每帧待检测图像的图像类型；
若当前待检测图像的图像类型是夜晚图像或红外图像，则对所述当前待检测图像进行人体检测以及对所述当前待检测图像进行灯光检测和/或运动物体检测；否则，对所述当前待检测图像进行人体检测。
在上述运动轨迹分析告警装置的一个技术方案中，所述目标体识别模块被进一步配置成执行以下操作：
分别对每帧待检测图像进行目标体检测；
若当前待检测图像包含目标体画面，则根据所述目标体画面获取在所述当前待检测图像中的目标体检测框；
根据所述目标体检测框输出目标体识别结果；
其中，所述目标体检测框包括人体检测框和/或灯光检测框和/或运动物体检测框。
在上述运动轨迹分析告警装置的一个技术方案中，所述目标体识别模块包括检测框处理单元，所述检测框处理单元被配置成判断获取到的目标体检测框中是否存在区域交叠的检测框；若存在，则对所述存在区域交叠的检测框进行合并处理。
在上述运动轨迹分析告警装置的一个技术方案中，所述检测框处理单元被进一步配置成如果所述存在区域交叠的检测框包括人体检测框、灯光检测框与运动物体检测框，则分别获取所述人体检测框、所述灯光检测框与所述运动物体检测框各自对应的面积并且判断所述人体检测框的面积是否分别大于所述灯光检测框与所述运动物体检测框的面积；若是，则对所述灯光检测框与所述运动物体检测框中面积较大的检测框以及所述人体检测框进行合并处理。
在上述运动轨迹分析告警装置的一个技术方案中，所述第一运动轨迹分析模块被进一步配置成分别对每帧待检测图像各自对应的目标体检测框进行跟踪匹配，根据跟踪匹配结果获取所述当前图像检测区域内的一个或多个目标体运动轨迹。
在上述运动轨迹分析告警装置的一个技术方案中，所述第二运动轨迹分析模块包括轨迹分析单元，所述轨迹分析单元被配置成执行以下操作：
根据当前图像检测区域内的告警区域获取所述当前图像检测区域内每帧待检测图像上所述告警区域对应的告警图像区域；
获取当前目标体运动轨迹对应的目标体检测框的特定点；
判断所述特定点是否落入所述告警图像区域；
若某个目标体检测框的特定点落入所述告警图像区域，则判定当前目标体运动轨迹进入到所述告警区域并且获取所述当前目标体运动轨迹的轨迹类型，根据所述轨迹类型判断是否存在进入到所述告警区域的行人轨迹或灯光轨迹；
其中，所述特定点包括所述目标体检测框的检测框中心点和/或所述目标体检测框的边界中心点。
在上述运动轨迹分析告警装置的一个技术方案中，所述轨迹分析单元包括轨迹类型分析子单元，所述轨迹类型分析子单元被配置成执行以下操作：
根据当前目标体运动轨迹对应的每个目标体检测框各自对应的检测框类型和/或所述当前目标体运动轨迹的轨迹状态分析所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹状态包括运动速度和/或运行距离和/或运动方向。
在上述运动轨迹分析告警装置的一个技术方案中，所述轨迹类型分析子单元被进一步配置成执行以下操作：
若当前目标体运动轨迹对应的目标体检测框包括人体检测框，则直接判定所述当前目标体运动轨迹的轨迹类型是行人轨迹；
若当前目标体运动轨迹对应的目标体检测框未包括人体检测框，则根据所述轨迹状态分析当前目标体运动轨迹的轨迹类型。
在上述运动轨迹分析告警装置的一个技术方案中，所述轨迹类型分析子单元被进一步配置成在目标体运动轨迹对应的目标体检测框未包括人体检测框时执行以下操作：
获取所述当前目标体运动轨迹对应的目标体画面的图像特征；
根据所述图像特征以及所述当前目标体运动轨迹的运动速度和/或运行距离和/或运动方向构建所述当前目标体运动轨迹的特征向量；
利用分类算法并且根据所述特征向量对所述当前目标体运动轨迹的轨迹类型进行分类分析；
根据分类分析的结果获取所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹类型包括行人轨迹、灯光轨迹和运动物体轨迹。
在上述运动轨迹分析告警装置的一个技术方案中，所述轨迹分析单元还包括告警子单元，所述告警子单元被配置成在所述轨迹分析单元判定出当前目标体运动轨迹进入到所述告警区域时执行以下操作：
基于预设的每个轨迹类型各自对应的告警等级并且根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息；
其中，所述告警信息包括标注有特定目标体检测框的图像、目标体运动轨迹的轨迹类型、目标体运动轨迹的唯一标识信息以及所述告警区域的唯一标识信息；所述特定目标体检测框是特定点落入告警图像区域的目标体检测框。
在上述运动轨迹分析告警装置的一个技术方案中，所述轨迹分析单元还包括告警启动子单元，所述告警启动子单元被配置成执行以下操作：
根据当前告警区域的唯一标识信息获取所述当前告警区域的目标体运动轨迹的历史告警信息；
根据所述当前目标体运动轨迹的唯一标识信息判断所述历史告警信息中是否包含所述当前目标体运动轨迹的历史告警信息；
若存在，则不启动所述告警子单元；若不存在，则启动所述告警子单元模块。
第三方面，提供一种运动轨迹分析告警装置，包括处理器和存储装置，存储装置适于存储多条程序代码，程序代码适于由处理器加载并运行以执行上述运动轨迹分析告警方法的技术方案中任一项所述的运动轨迹分析告警方法。
第四方面，提供一种目标区域监控系统，其特征在于，所述系统包括图像采集装置以及上述运动轨迹分析告警装置的技术方案中任一项所述的运动轨迹分析告警装置；
所述图像采集装置被配置成采集目标区域附近的区域图像并且将采集结果发送至所述运动轨迹分析告警装置；
所述运动轨迹分析告警装置被配置成根据所述图像采集装置发送的采集结果对所述区域图像进行运动轨迹分析并且根据分析结果选择性地输出告警。
在上述运动轨迹分析告警装置的一个技术方案中，所述图像采集装置包括红外图像采集装置和/或激光图像采集装置和/或可见光图像采集装置和/或红外与可见光图像一体式采集装置。
第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质适于存储多条程序代码，所述程序代码适于由处理器加载并运行以执行上述运动轨迹分析告警方法的技术方案中任一项所述的运动轨迹分析告警方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，可以通过对图像检测区域的每帧待检测图像进行多种目标体(包括但不限于：人体、灯光和运动物体)识别，根据每帧待检测图像各自对应的多种目标体的识别结果进行运动轨迹分析，能够准确分析出图像检测区域内是否存在行人轨迹/灯光轨迹以及行人轨迹/灯光轨迹是否进入到图像检测区域内的告警区域，降低了待检测图像的图像质量对行人运动轨迹分析的影响，即使利用光照条件较差等环境下采集的低质图像也能够通过对多种目标体的识别结果进行综合分析，准确地分析出是否存在进入到告警区域的行人。
进一步，在实施本发明的技术方案中，可以利用不同类型的图像/视频采集装置采集的图像检测区域的图像作为待检测图像进行运动轨迹分析，从而在目标区域如铁路周界已安装有大量图像/视频采集装置的情况下，可以利用这些已安装的图像/视频采集装置进行目标区域内的目标体运动轨迹分析，无需再单独部署大量的图像/视频采集装置，从而极大地降低了目标区域的监控成本。
附图说明
下面参照附图来描述本发明的具体实施方式，附图中：
图1是根据本发明的一个实施例的运动轨迹分析告警方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的运动轨迹分析告警装置的主要结构框图。
附图标记列表：
11：目标体识别模块；12：第一运动轨迹分析模块；13：第二运动轨迹分析模块。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
目前传统的周界入侵报警系统主要是对目标区域内图像采集装置采集到的图像进行行人检测，根据行人检测的结果判断是否有行人进入到目标区域。然而，由于铁路的沿线环境差异比较大，在光照条件较差如夜晚或树木山林遮挡等环境下会导致图像/采集装置采集的图像质量较差(例如：图像亮度降低、图像模糊度增加等)，进而影响周界入侵报警系统对图像进行行人检测的准确性。
在本发明实施例中，可以通过对图像检测区域的每帧待检测图像进行多种目标体(包括但不限于：人体、灯光和运动物体)识别，根据每帧待检测图像各自对应的多种目标体的识别结果进行运动轨迹分析，能够准确分析出图像检测区域内是否存在行人轨迹/灯光轨迹以及行人轨迹/灯光轨迹是否进入到图像检测区域内的告警区域，降低了待检测图像的图像质量对目标体识别与行人运动轨迹分析的影响，即使利用光照条件较差等环境下采集的低质图像也能够通过对多种目标体的识别结果进行综合分析，准确地分析出在当前光照条件下目标体运动轨迹是否为行人轨迹以及行人轨迹是否进入到预设的告警区域内。进一步，在本发明实施例中可以利用不同类型的图像/视频采集装置采集的图像检测区域的图像作为待检测图像进行运动轨迹分析，从而在目标区域如铁路周界已安装有大量图像/视频采集装置的情况下，本发明实施例可以利用这些已安装的图像/视频采集装置进行目标区域内的目标体运动轨迹分析，无需单独部署图像/视频采集装置，从而极大地节省了目标区域的监控成本。
在本发明的一个应用场景的例子中，某段铁路的后台服务器中设置有铁路监控系统(该系统不具备铁路周界行人入侵监控功能)，为了满足该系统的监控需求，这段铁路的沿线附近部署了大量的红外图像采集装置、激光图像采集装置和可见光图像采集装置。当需要对上述铁路监控系统进行功能升级，使其能够对这段铁路进行铁路周界行人入侵监控时，可以在上述铁路监控系统中设置能够执行根据本发明的一个实施例的运动轨迹分析告警方法的装置，该装置可以获取上述铁路沿线附近已经部署的图像采集装置采集到的图像并且将这些图像作为待检测图像进行运动轨迹分析，根据分析结果获取在每个图像采集装置的图像采集区域内发生的行人轨迹以及判断行人是否进入到铁路周界的告警区域内。如果判定出行人已经进入到告警区域，则输出相应的告警信息，以便于铁路监控人员能够及时采取有效的安全防护措施，保证行人安全以及铁路的正常运行。
参阅附图1，图1是根据本发明的一个实施例的运动轨迹分析告警方法的主要步骤流程示意图。如图1所示，本发明实施例中的运动轨迹分析告警方法主要包括以下步骤：
步骤S101：分别对当前图像检测区域的每帧待检测图像进行目标体识别。
图像检测区域指的是，图像采集装置能够进行图像采集的区域范围。目标体可以包括人体和/或灯光和/或运动物体。其中，灯光指的是能够照明的装置(光源)产生的光信号。一个例子：灯光可以是手电筒(Flashlight)产生的光信号，灯光也可以是物体燃烧产生的光信号。
一个实施方式中，可以按照以下步骤对图像检测区域的每帧待检测图像进行目标体识别：分别对每帧待检测图像进行目标体检测，若当前待检测图像包含目标体画面，则根据目标体画面获取在当前待检测图像中的目标体检测框，根据目标体检测框输出目标体识别结果。其中，目标体检测框可以包括人体检测框和/或灯光检测框和/或运动物体检测框。在本实施方式中通过检测框进行目标体标注，有利于后续对目标体运动轨迹的准确分析，即通过每帧待检测图像中的目标体检测框进行跟踪匹配，就可以快速其准确地分析出当前目标体检测框所表示的目标体在图像检测区域内的运动轨迹。
需要说明的是，在本实施例中可以采用图像识别技术领域中常规的人体检测算法、灯光检测算法和运动物体检测算法对待检测图像进行人体检测、灯光检测和运动物体检测。人体检测算法包括但不限于：基于方向梯度直方图(Histogram of OrientedGradient,HOG)特征与Adaboost算法的人体检测算法、基于Faster-RCNN模型算法的人体检测算法、基于YOLO(You Only Look Once)算法的人体检测算法。灯光检测算法包括但不限于：基于图像分割算法Mask RCNN的灯光检测算法、基于图像分割算法UNet的灯光检测算法、基于YOLO算法的灯光检测算法、基于SSD(Single Shot MultiBox Detector)的灯光检测算法、基于图像对比度增强的灯光检测算法。运动物体检测算法包括但不限于：基于前后景分离法的运动物体检测算法、基于帧差法的运动物体检测算法、基于光流法的运动物体检测算法。为了描述简洁，在此不再对上述算法的具体工作原理与运算过程进行赘述。
进一步，在本实施方式中可以根据待检测图像的亮度和类型等信息采用不同的识别方式进行目标体识别，以便于在待检测图像的亮度较差或者色彩单一(如黑白图像)的情况下，也能够准确地检测出待检测图像中的目标体。具体而言，一个实施方式中，可以按照以下步骤对待检测图像进行目标体检测：
步骤11：分别对每帧待检测图像进行人体检测。
步骤12：如果当前待检测图像的检测结果是未检测到人体，则判断当前待检测图像的图像类型是否为夜晚图像或红外图像；若图像类型是夜晚图像或红外图像，则对当前待检测图像进行灯光检测和/或运动物体检测；若图像类型不是夜晚图像或红外图像，则停止目标体检测。
在本实施方式中，可以通过获取每帧待检测图像各自对应的颜色特征，根据颜色特征确定每帧待检测图像各自对应的图像类型。在本实施方式中颜色特征包括但不限于：RGB颜色通道特征、YUV颜色空间特征、HSV颜色空间特征。在本实施方式中，可以基于待检测图像的RGB颜色通道特征并且利用图像处理技术领域中常规的RGB三通道差值法来识别待检测图像是否为黑白图像；可以基于待检测图像的YUV颜色空间特征并且利用图像处理技术领域中常规的UV均值法来识别待检测图像是否为黑白图像；可以基于YUV颜色空间特征中的Y通道颜色特征以及HSV颜色空间特征中的V通道颜色特征判断待检测图像的亮度；根据上述黑白图像检测结果以及待检测图像的亮度信息就可以判断出待检测图像的图像类型是否为夜晚图像或红外图像。需要说明的是，本领域技术人员可以根据实际需求灵活选择要使用的颜色特征，只要能够根据该颜色特征分析出待检测图像是否为夜晚图像或红外图像即可，这种对颜色特征的更改或替换均落入本发明的保护范围之内。
通过上述步骤11-步骤12，能够对未检测到人体的待检测图像进行灯光/运动物体检测，以便于后续可以根据灯光/运动物体检测的结果分析目标区域内是否存在行人轨迹，从而实现了即使在图像质量较差无法检测出人体的情况下也能够利用灯光/运动物体检测的结果分析进行行人轨迹分析，提高行人轨迹检测的准确性。在实际应用中，由于行人可能会携带发送物体如手电筒等运动，通过待检测图像的人体检测结果与灯光/运动物体检测结果进行综合分析，可以准确得出行人的位置，进而有利于后续分析行人轨迹的具体路线，以判断行人是否进入到预设的告警区域内。具体而言，一个实施方式中，可以按照以下步骤对待检测图像进行目标体检测：
步骤21：获取每帧待检测图像的图像类型。
在本实施方式中可以采用前述实施方式中图像类型的获取方式来获取每帧待检测图像的图像类型，在此不再赘述。
步骤22：判断步骤21获取到的图像类型是否为夜晚图像或红外图像；如果图像类型是夜晚图像或红外图像，则对待检测图像进行人体检测以及对待检测图像进行灯光检测和/或运动物体检测，即可以对待检测图像同时进行人体检测、灯光检测和运动物体检测，也可以对待检测图像进行人体检测和灯光检测，也可以对待检测图像进行人体检测和运动物体检测。如果图像类型不是夜晚图像也不是红外图像，则可以对待检测图像进行人体检测。
由前述描述可知，在本实施方式中可以对每帧待检测图像进行多种目标体检测(例如：同时对待检测图像进行人体、灯光和运动物体检测)，而在实际应用中同一个待检测图像中检测到的不同目标体检测框之间可能存在交叠部分，这表明这些目标体检测框可能属于同一个目标体。例如：某个待检测图像包含了行人携带手电筒在夜晚步行的画面，那么通过人体与灯光检测可以得到人体检测框和灯光检测框并且人体检测框与灯光检测存在交叠部分(两个检测框存在交叉区域)，这表明人体检测框与灯光检测框可能都属于上述行人。对此，在本发明实施例中可以对潜在的属于同一个目标体的检测框(存在交叠部分的检测框)进行合并，以减少检测框的数量，进而减少后续运动轨迹分析的运算量，提高轨迹分析的分析效率。具体而言，在本发明实施例中，在对待检测图像进行目标体检测并且根据检测结果获取到待检测图像中的目标体检测框之后，可以判断获取到的目标体检测框中是否存在区域交叠的检测框；若存在，则对存在区域交叠的检测框进行合并处理。
进一步，为了避免将不属于同一个目标体的检测框合并为同一个检测，即提高检测框合并去重处理的准确性，可以按照以下步骤对存在区域交叠的检测框进行合并处理：如果存在区域交叠的检测框包括人体检测框、灯光检测框与运动物体检测框，则分别获取人体检测框、灯光检测框与运动物体检测框各自对应的面积并且判断人体检测框的面积是否分别大于灯光检测框与运动物体检测框的面积；若是，则对灯光检测框与运动物体检测框中面积较大的检测框以及人体检测框进行合并处理。需要说明的是，虽然本发明实施例仅提供了上述这一种对检测框进行合并处理的具体实施方式，但是本领域技术人员能够理解的是，本领域技术人员可以根据实际需求选择不同的合并处理方式进行检测框合并处理，这种对合并处理方式的更改或替换均应落入本发明的保护范围内。
步骤S102：根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析。
在本实施例中可以分别对每帧待检测图像各自对应的目标体检测框进行跟踪匹配，根据跟踪匹配结果获取当前图像检测区域内的一个或多个目标体运动轨迹。
需要说明的是，在本实施例中可以采用图像处理技术领域中常规的目标跟踪算法对待检测图像进行目标体检测框跟踪匹配，进而根据匹配结果获取相应的目标体运动轨迹。其中，目标跟踪算法包括但不限于：基于检测框跟踪的目标跟踪算法、基于图像特征跟踪的目标跟踪算法、基于Kalman滤波算法的目标跟踪算法。为了描述简洁，在此不再对上述算法的具体原理与运算过程进行赘述。
步骤S103：根据运动轨迹分析的结果判断是否存在进入到当前图像检测区域内的告警区域的行人轨迹或灯光轨迹，根据判断结果选择性地进行告警。如果判断出存在进入到告警区域的行人轨迹，则表明当前已经有行人进入到了告警区域，因此可以输出告警信息进行告警，以便于目标区域的监控人员能够根据告警信息及时采取有效的安全防护措施，以防止发生非法的行人入侵。如果判断出存在进入到告警区域的灯光轨迹，那么该灯光轨迹可能是能够与行人同时移动的光源产生的轨迹如行人携带的手电筒或行人乘坐车辆的车灯等产生的轨迹，因此表明当前有可能已经有行人进入到了告警区域，此时同样可以输出告警信息进行告警，以进一步提高目标区域的安全防护等级。
在本实施例中，可以按照以下步骤获取当前图像检测区域内的目标体运动轨迹的轨迹类型：
步骤31：获取步骤S102的运动轨迹分析的分析结果，根据该分析结果获取图像检测区域内的目标体运动轨迹。
步骤32：根据当前目标体运动轨迹对应的每个目标体检测框各自对应的检测框类型和/或当前目标体运动轨迹的轨迹状态分析当前目标体运动轨迹的轨迹类型。其中，轨迹状态包括但不限于运动速度、运行距离和运动方向等。
如果目标体检测结果仅检测到人体检测框，那么可以直接判定出轨迹类型是行人轨迹；如果目标体检测结果没有检测到人体检测框，则可以根据轨迹状态分析当前运动轨迹的轨迹类型。一个实施方式中，可以利用分类算法并且根据目标体运动轨迹的轨迹状态进行轨迹类型的分类分析，进而根据分类分析的结果获取目标体运动轨迹的轨迹类型。具体而言，如果目标体检测结果没有检测到人体检测框，可以按照下述步骤41-步骤44分析目标体运动轨迹的轨迹类型：
步骤41：获取目标体运动轨迹对应的目标体画面的图像特征，即获取目标体运动轨迹对应的每个目标体检测框各自对应的目标体画面的图像特征。在本实施方式中，目标体画面的图像特征包括但不限于：图像的方向梯度直方图(Histogram of OrientedGradient，HOG)特征、局部二值模式(Local Binary Pattern，LBP)特征等。
步骤42：根据步骤41获取到的图像特征以及目标体运动轨迹的运动速度和/或运行距离和/或运动方向构建目标体运动轨迹的特征向量。在本实施方式中可以采用图像处理技术领域中常规的特征向量构建方法来构建目标体运动轨迹的特征向量。例如：分别获取能够表示图像特征、运动速度、运动距离和运动方向的表示向量，然后对这些表示向量进行向量拼接即可得到目标体运动轨迹的特征向量。
步骤43：利用分类算法并且根据步骤42得到的特征向量对目标体运动轨迹的轨迹类型进行分类分析。
在本实施方式中，可以采用机器学习技术领域中常规的分类算法进行轨迹类型的分类分析。分类算法包括但不限于：基于XGBoost(eXtreme Gradient Boosting)算法的分类算法、基于支持向量机(Support Vector Machines，SVM)的分类算法、基于神经网络的分类算法。具体而言，首先构建用于轨迹类型分类分析的分类模型(包括但不限于：基于神经网络的分类模型、基于支持向量机的分类模型等)，然后基于图像样本并且利用机器学习技术领域中常规的机器学习算法(包括但不限于：深度学习算法等)对分类模型进行网络训练，使得该分类模型在网络训练完成后能够对不同轨迹的轨迹类型进行分类分析，即将某个目标运动轨迹的图像信息输入到这个分类模型后，分类模型就可直接输出这个目标运动轨迹的轨迹类型。为了使该分类模型能够根据目标体运动轨迹的轨迹状态准确地分析出其轨迹类型，需要对图像样本所表示的运动轨迹的轨迹状态进行标注(为图像样本设置轨迹状态标签)以及运动轨迹的轨迹类型进行标注(为图像样本设置轨迹类型标签)，进而在对分类模型进行网络训练时，可以使分类模型根据不同轨迹状态对应的轨迹类型以及图像样本中目标体画面的图像特征学习到根据轨迹状态与图像特征进行轨迹类型分析的能力。
一个例子：获取待检测图像的HOG特征，根据HOG特征、运动轨迹的速度、方向和距离构建特征向量，利用基于支持向量机的分类算法并且根据该特征向量对运动轨迹的轨迹类型进行分类分析，输出当前运动轨迹的轨迹类型。为了描述简洁，在此不再对上述算法的具体原理与运算过程进行赘述。
步骤44：根据步骤43的分类分析的结果获取目标体运动轨迹的轨迹类型，根据该轨迹类型判断目标体运动轨迹是否为行人轨迹或灯光轨迹。如果目标体运动轨迹的轨迹类型是行人轨迹，则判断当前目标体运动轨迹是行人轨迹；如果目标体运动轨迹的轨迹类型是灯光轨迹，则判断当前目标体运动轨迹是灯光轨迹。
通过上述步骤31-步骤32、步骤41-步骤44可知，根据目标体检测框的检测框类型以及目标体运动轨迹的轨迹状态能够准确分析当前目标体运动轨迹的轨迹类型是否为行人轨迹或灯光轨迹。
在本实施例中，可以按照以下步骤判断目标体运动轨迹是否进入到当前图像检测区域内的告警区域：
步骤51：根据当前图像检测区域内的告警区域获取当前图像检测区域内每帧待检测图像上告警区域对应的告警图像区域。
根据图像检测区域内实际的告警区域，对待检测图像进行区域划分，得到这个实际的告警区域对应的告警图像区域。一个实施方式中，可以利用一个多个顶点形成的多边形表示待检测图像上的告警图像区域。
步骤52：获取当前目标体运动轨迹对应的目标体检测框的特定点，判断特定点是否落入告警图像区域；若某个目标体检测框的特定点落入告警图像区域，则判断当前目标体运动轨迹对应的目标体进入到告警区域。其中，特定点可以包括目标体检测框的检测框中心点和/或目标体检测框的边界中心点如检测框的底边中心点。
在实际应用中可以根据实际的监控需求选取特定点。一个例子：如果目标区域的监控等级较高，在目标体如行人靠近目标区域时就需要进行告警，那么可以选取目标体检测框的边界中心点作为特定点；如果目标区域的监控等级较低，在目标体如行人完全进入到目标区域时才需要进行告警，那么可以选取目标体检测框的检测框中心点作为特定点。需要说明的是，在判断是否存在进入到当前图像检测区域内的告警区域的行人轨迹或灯光轨迹时，一个实施方式中，可以先执行步骤41-步骤44分析当前图像检测区域内是否存在行人轨迹或灯光轨迹，如果判断出存在行人轨迹或灯光轨迹之后再通过执行步骤51-步骤52分析这个行人轨迹或灯光轨迹是否进入到告警区域。一个实施方式中，可以先执行步骤51-步骤52分析是否存在进入到告警区域的目标体运动轨迹，如果存在，则继续通过执行步骤41-步骤44来判断这个目标体运动轨迹是否为行人轨迹或灯光轨迹。
由前述描述可知，本发明实施例中的轨迹类型包括行人轨迹、灯光轨迹和运动物体轨迹，而在实际应用中对于不同的目标区域，行人、灯光和运动物体所产生的潜在危害不同，因而可以根据不同的轨迹类型设置不同的告警等级，对行人、灯光和运动物体输出不同的告警信息，以便于监控人员采取不同的安全防护措施，维护目标区域的安全运行。具体而言，一个实施方式中可以按照以下步骤输出告警信息：基于预设的每个轨迹类型各自对应的告警等级并且根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息。其中，告警信息可以包括标注有特定目标体检测框的图像、目标体运动轨迹的轨迹类型、目标体运动轨迹的唯一标识信息以及告警区域的唯一标识信息；特定目标体检测框是特定点落入告警图像区域的目标体检测框。通过查看标注有特定目标体检测框的图像有利于监控人员快速了解目标体的实际类型与状态，通过获取告警区域的唯一标识信息有利于监控人员快速定位目标体所处的告警区域。进一步，为了避免由于重复告警导致的告警数据存储空间的存储压力增加，可以在输出告警信息之前检测是否存在相同的告警信息(例如：目标体a进入告警区域A)，如果存在则不再输出告警信息。具体而言，可以按照以下步骤输出告警信息：
步骤61：基于预设的每个轨迹类型各自对应的告警等级并且根据当目标体运动轨迹对应的轨迹类型获取相应告警等级的告警信息。步骤62：根据当前告警区域的唯一标识信息获取当前告警区域的目标体运动轨迹的历史告警信息。步骤63：根据当前目标体运动轨迹的唯一标识信息判断历史告警信息中是否包含当前目标体运动轨迹的历史告警信息。如果存在，则不输出告警信息；如果不存在，则输出步骤61获取到的告警信息。
在本发明实施例中，通过对图像检测区域的每帧待检测图像进行人体和/或灯光和/或运动物体识别，即使在光照条件较差的环境下也能够准确地从所有运动轨迹中分析出行人轨迹或灯光轨迹，以及判断出行人轨迹或灯光轨迹是否进入到预设的告警区域内。并且，本发明实施例中可以利用目标区域内已安装的图像/视频采集装置进行目标体运动轨迹分析，无需单独部署图像/视频采集装置，既提高了这些图像/视频采集装置的复用率，还极大地降低了目标区域的监控成本。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
进一步，本发明还提供了一种运动轨迹分析告警装置。
参阅附图2，图2是根据本发明的一个实施例的运动轨迹分析告警装置的主要结构框图。如图2所示，本发明实施例中的运动轨迹分析告警装置主要包括目标体识别模块11、第一运动轨迹分析模块12和第二运动轨迹分析模块13。在一些实施例中，目标体识别模块11、第一运动轨迹分析模块12和第二运动轨迹分析模块13中的一个或多个可以合并在一起成为一个模块。在一些实施例中，目标体识别模块11可以被配置成分别对当前图像检测区域的每帧待检测图像进行目标体识别。第一运动轨迹分析模块12可以被配置成根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析。第二运动轨迹分析模块13可以被配置成根据第一运动轨迹分析模块12输出的分析结果判断是否存在进入到当前图像检测区域内告警区域的行人轨迹或灯光轨迹；若是，则进行告警。其中，目标体可以包括人体和/或灯光和/或运动物体。一个实施方式中，具体实现功能的描述可以参见步骤S101-步骤S103所述。
在一个实施方式中，目标体识别模块11可以包括第一目标体识别子模块和第二目标体识别子模块。第一目标体识别子模块可以被配置成执行以下操作：分别对每帧待检测图像进行人体检测；如果当前待检测图像的检测结果是未检测到人体，则判断当前待检测图像的图像类型是否为夜晚图像或红外图像；若是，则对当前待检测图像进行灯光检测和/或运动物体检测。第二目标体识别子模块可以被配置成执行以下操作：获取每帧待检测图像的图像类型；若当前待检测图像的图像类型是夜晚图像或红外图像，则对当前待检测图像进行人体检测以及对当前待检测图像进行灯光检测和/或运动物体检测；否则，对当前待检测图像进行人体检测。一个实施方式中，具体实现功能的描述可以参见步骤S101所述。
在一个实施方式中，目标体识别模块11被进一步配置成分别对每帧待检测图像进行目标体检测，若当前待检测图像包含目标体画面，则根据目标体画面获取在当前待检测图像中的目标体检测框，根据目标体检测框输出目标体识别结果。一个实施方式中，具体实现功能的描述可以参见步骤S101所述。
在一个实施方式中，目标体识别模块11可以包括检测框处理单元，检测框处理单元可以被配置成判断获取到的目标体检测框中是否存在区域交叠的检测框；若存在，则对存在区域交叠的检测框进行合并处理。一个实施方式中，具体实现功能的描述可以参见步骤S101所述。
在一个实施方式中，检测框处理单元被进一步配置成如果存在区域交叠的检测框包括人体检测框、灯光检测框与运动物体检测框，则分别获取人体检测框、灯光检测框与运动物体检测框各自对应的面积并且判断人体检测框的面积是否分别大于灯光检测框与运动物体检测框的面积；若是，则对人体检测框以及灯光检测框与运动物体检测框中面积较大的检测框进行合并处理。一个实施方式中，具体实现功能的描述可以参见步骤S101所述。
在一个实施方式中，第一运动轨迹分析模块12被进一步配置成分别对每帧待检测图像各自对应的目标体检测框进行跟踪匹配，根据跟踪匹配结果获取当前图像检测区域内的一个或多个目标体运动轨迹。一个实施方式中，具体实现功能的描述可以参见步骤S102所述。
在一个实施方式中，第二运动轨迹分析模块13可以包括轨迹分析单元，该轨迹分析单元可以被配置成执行以下操作：
根据当前图像检测区域内的告警区域获取当前图像检测区域内每帧待检测图像上告警区域对应的告警图像区域；获取当前目标体运动轨迹对应的目标体检测框的特定点；判断特定点是否落入告警图像区域；若某个目标体检测框的特定点落入告警图像区域，则判定当前目标体运动轨迹进入到告警区域并且获取当前目标体运动轨迹的轨迹类型，根据轨迹类型判断是否存在进入到告警区域的行人轨迹或灯光轨迹；其中，特定点包括目标体检测框的检测框中心点和/或目标体检测框的边界中心点。
在一个实施方式中，轨迹分析单元可以包括轨迹类型分析子单元，轨迹类型分析子单元可以被配置成执行以下操作：根据当前目标体运动轨迹对应的每个目标体检测框各自对应的检测框类型和/或当前目标体运动轨迹的轨迹状态分析当前目标体运动轨迹的轨迹类型。其中，轨迹状态包括运动速度和/或运行距离和/或运动方向。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。
在一个实施方式中，轨迹类型分析子单元被进一步配置成执行以下操作：若当前目标体运动轨迹对应的目标体检测框包括人体检测框，则直接判定当前目标体运动轨迹的轨迹类型是行人轨迹；若当前目标体运动轨迹对应的目标体检测框未包括人体检测框，则根据轨迹状态分析当前目标体运动轨迹的轨迹类型。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。
在一个实施方式中，轨迹类型分析子单元被进一步配置成在目标体运动轨迹对应的目标体检测框未包括人体检测框时执行以下操作：
获取目标体运动轨迹对应的目标体画面的图像特征；根据图像特征以及目标体运动轨迹的运动速度和/或运行距离和/或运动方向构建目标体运动轨迹的特征向量；利用分类算法并且根据特征向量对目标体运动轨迹的轨迹类型进行分类分析；根据分类分析的结果获取当前目标体运动轨迹的轨迹类型；其中，轨迹类型包括行人轨迹、灯光轨迹和运动物体轨迹。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。
在一个实施方式中，轨迹分析单元还可以包括告警子单元，该告警子单元可以被配置成执行以下操作：
基于预设的每个轨迹类型各自对应的告警等级并且根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息；其中，告警信息包括标注有特定目标体检测框的图像、目标体运动轨迹的轨迹类型、目标体运动轨迹的唯一标识信息以及告警区域的唯一标识信息；特定目标体检测框是特定点落入告警图像区域的目标体检测框。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。
在一个实施方式中，轨迹分析单元还可以包括告警启动子单元，该告警启动子单元可以被配置成执行以下操作：
根据当前告警区域的唯一标识信息获取当前告警区域的目标体运动轨迹的历史告警信息；根据当前目标体运动轨迹的唯一标识信息判断历史告警信息中是否包含当前目标体运动轨迹的历史告警信息；若存在，则不启动告警子单元；若不存在，则启动告警子单元。一个实施方式中，具体实现功能的描述可以参见步骤S103所述。
上述运动轨迹分析告警装置以用于执行图1所示的运动轨迹分析告警方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，运动轨迹分析告警装置的具体工作过程及有关说明，可以参考运动轨迹分析告警方法的实施例所描述的内容，此处不再赘述。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的运动轨迹分析告警方法的程序，该程序可以由处理器加载并运行以实现上述运动轨迹分析法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种运动轨迹分析告警装置。在根据本发明的一个运动轨迹分析告警装置实施例中，运动轨迹分析告警装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的运动轨迹分析告警方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的运动轨迹分析告警方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该运动轨迹分析告警装置可以是包括各种电子设备形成的控制装置设备。
进一步，本发明还提供了一种目标区域监控系统。在根据本发明的一个目标区域监控系统实施例中，该系统可以包括图像采集装置以及上述运动轨迹分析告警装置所述的运动轨迹分析告警装置。图像采集装置可以被配置成采集目标区域附近的区域图像并且将采集结果发送至运动轨迹分析告警装置；运动轨迹分析告警装置可以被配置成根据图像采集装置发送的采集结果对区域图像进行运动轨迹分析并且根据分析结果选择性地输出告警。目标区域包括但不限于：铁路周界、军事基地等。在本实施例中，如果目标区域内预先设置有大量的图像采集装置，那么可以利用这些图像采集装置作为目标区域监控系统的图像采集装置，也可以在目标区域内重新部署新的图像采集装置作为目标区域监控系统的图像采集装置。图像采集装置包括但不限于：红外图像采集装置、激光图像采集装置、可见光图像采集装置、红外与可见光图像一体式采集装置等，这些图像采集装置均是图像采集技术领域中常规的采集装置，为了描述简洁，在此不再对这些采集装置的具体工作原理进行赘述。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的系统的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (22)

1.一种运动轨迹分析告警方法，其特征在于，所述方法包括：
分别对当前图像检测区域的每帧待检测图像进行目标体识别，具体包括：分别对每帧待检测图像进行目标体检测；若当前待检测图像包含目标体画面，则根据所述目标体画面获取在所述当前待检测图像中的目标体检测框；根据所述目标体检测框输出目标体识别结果；
根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析；
根据运动轨迹分析的结果判断是否存在进入到所述当前图像检测区域内的告警区域的行人轨迹或灯光轨迹；
若是，则进行告警；
其中，所述目标体包括人体和/或灯光和/或运动物体，所述目标体检测框包括人体检测框和/或灯光检测框和/或运动物体检测框；
在“根据所述目标体检测框输出目标体识别结果”的步骤之前，所述方法还包括：
判断获取到的目标体检测框中是否存在区域交叠的检测框；
若存在，则对所述存在区域交叠的检测框进行合并处理，具体包括：如果所述存在区域交叠的检测框包括人体检测框、灯光检测框与运动物体检测框，则分别获取所述人体检测框、所述灯光检测框与所述运动物体检测框各自对应的面积并且判断所述人体检测框的面积是否分别大于所述灯光检测框与所述运动物体检测框的面积；若是，则对所述灯光检测框与所述运动物体检测框中面积较大的检测框以及所述人体检测框进行合并处理。
2.根据权利要求1所述的运动轨迹分析告警方法，其特征在于，“分别对当前图像检测区域的每帧待检测图像进行目标体识别”的步骤具体包括：
分别对每帧待检测图像进行人体检测；
如果当前待检测图像的检测结果是未检测到人体，则判断所述当前待检测图像的图像类型是否为夜晚图像或红外图像；
若是，则对所述当前待检测图像进行灯光检测和/或运动物体检测；
或者，“分别对当前图像检测区域的每帧待检测图像进行目标体识别”的步骤具体包括：
获取每帧待检测图像的图像类型；
若当前待检测图像的图像类型是夜晚图像或红外图像，则对所述当前待检测图像进行人体检测以及对所述当前待检测图像进行灯光检测和/或运动物体检测；否则，对所述当前待检测图像进行人体检测。
3.根据权利要求1所述的运动轨迹分析告警方法，其特征在于，“根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析”的步骤具体包括：
分别对每帧待检测图像各自对应的目标体检测框进行跟踪匹配，根据跟踪匹配结果获取所述当前图像检测区域内的一个或多个目标体运动轨迹。
4.根据权利要求3所述的运动轨迹分析告警方法，其特征在于，“根据运动轨迹分析的结果判断是否存在进入到所述当前图像检测区域内的告警区域的行人轨迹或灯光轨迹”的步骤具体包括：
根据当前图像检测区域内的告警区域获取所述当前图像检测区域内每帧待检测图像上所述告警区域对应的告警图像区域；
获取当前目标体运动轨迹对应的目标体检测框的特定点；
判断所述特定点是否落入所述告警图像区域；
若某个目标体检测框的特定点落入所述告警图像区域，则判定当前目标体运动轨迹进入到所述告警区域并且获取所述当前目标体运动轨迹的轨迹类型，根据所述轨迹类型判断是否存在进入到所述告警区域的行人轨迹或灯光轨迹；
其中，所述特定点包括所述目标体检测框的检测框中心点和/或所述目标体检测框的边界中心点。
5.根据权利要求4所述的运动轨迹分析告警方法，其特征在于，“获取所述当前目标体运动轨迹的轨迹类型”的步骤具体包括：
根据当前目标体运动轨迹对应的每个目标体检测框各自对应的检测框类型和/或所述当前目标体运动轨迹的轨迹状态分析所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹状态包括运动速度和/或运行距离和/或运动方向。
6.根据权利要求5所述的运动轨迹分析告警方法，其特征在于，“分析所述当前目标体运动轨迹的轨迹类型”的步骤具体包括：
若当前目标体运动轨迹对应的目标体检测框包括人体检测框，则直接判定所述当前目标体运动轨迹的轨迹类型是行人轨迹；
若当前目标体运动轨迹对应的目标体检测框未包括人体检测框，则根据所述轨迹状态分析当前目标体运动轨迹的轨迹类型。
7.根据权利要求6所述的运动轨迹分析告警方法，其特征在于，“根据所述轨迹状态分析当前目标体运动轨迹的轨迹类型”的步骤具体包括：
获取所述当前目标体运动轨迹对应的目标体画面的图像特征；
根据所述图像特征以及所述当前目标体运动轨迹的运动速度和/或运行距离和/或运动方向构建所述当前目标体运动轨迹的特征向量；
利用分类算法并且根据所述特征向量对所述当前目标体运动轨迹的轨迹类型进行分类分析；
根据分类分析的结果获取所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹类型包括行人轨迹、灯光轨迹和运动物体轨迹。
8.根据权利要求4所述的运动轨迹分析告警方法，其特征在于，在“判定当前目标体运动轨迹进入到所述告警区域”的步骤之后，所述方法还包括：
基于预设的每个轨迹类型各自对应的告警等级并且根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息；
其中，所述告警信息包括标注有特定目标体检测框的图像、目标体运动轨迹的轨迹类型、目标体运动轨迹的唯一标识信息以及所述告警区域的唯一标识信息；所述特定目标体检测框是特定点落入告警图像区域的目标体检测框。
9.根据权利要求8所述的运动轨迹分析告警方法，其特征在于，在“根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息”的步骤之前，所述方法还包括：
根据当前告警区域的唯一标识信息获取所述当前告警区域的目标体运动轨迹的历史告警信息；
根据所述当前目标体运动轨迹的唯一标识信息判断所述历史告警信息中是否包含所述当前目标体运动轨迹的历史告警信息；
若存在，则不执行“根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息”的步骤；若不存在，则执行“根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息”。
10.一种运动轨迹分析告警装置，其特征在于，所述装置包括：
目标体识别模块，其被配置成分别对当前图像检测区域的每帧待检测图像进行目标体识别，具体包括：分别对每帧待检测图像进行目标体检测；若当前待检测图像包含目标体画面，则根据所述目标体画面获取在所述当前待检测图像中的目标体检测框；根据所述目标体检测框输出目标体识别结果；
第一运动轨迹分析模块，其被配置成根据每帧待检测图像各自对应的目标体识别结果进行运动轨迹分析；
第二运动轨迹分析模块，其被配置成根据运动轨迹分析的结果判断是否存在进入到所述当前图像检测区域内告警区域的行人轨迹或灯光轨迹；若是，则进行告警；
其中，所述目标体包括人体和/或灯光和/或运动物体，所述目标体检测框包括人体检测框和/或灯光检测框和/或运动物体检测框；
所述目标体识别模块包括检测框处理单元，所述检测框处理单元被配置成判断获取到的目标体检测框中是否存在区域交叠的检测框；若存在，则对所述存在区域交叠的检测框进行合并处理；如果所述存在区域交叠的检测框包括人体检测框、灯光检测框与运动物体检测框，则分别获取所述人体检测框、所述灯光检测框与所述运动物体检测框各自对应的面积并且判断所述人体检测框的面积是否分别大于所述灯光检测框与所述运动物体检测框的面积；若是，则对所述灯光检测框与所述运动物体检测框中面积较大的检测框以及所述人体检测框进行合并处理。
11.根据权利要求10所述的运动轨迹分析告警装置，其特征在于，所述目标体识别模块包括第一目标体识别子模块和第二目标体识别子模块；
所述第一目标体识别子模块被配置成执行以下操作：
分别对每帧待检测图像进行人体检测；
如果当前待检测图像的检测结果是未检测到人体，则判断所述当前待检测图像的图像类型是否为夜晚图像或红外图像；
若是，则对所述当前待检测图像进行灯光检测和/或运动物体检测；
所述第二目标体识别子模块被配置成执行以下操作：
获取每帧待检测图像的图像类型；
若当前待检测图像的图像类型是夜晚图像或红外图像，则对所述当前待检测图像进行人体检测以及对所述当前待检测图像进行灯光检测和/或运动物体检测；否则，对所述当前待检测图像进行人体检测。
12.根据权利要求10所述的运动轨迹分析告警装置，其特征在于，所述第一运动轨迹分析模块被进一步配置成分别对每帧待检测图像各自对应的目标体检测框进行跟踪匹配，根据跟踪匹配结果获取所述当前图像检测区域内的一个或多个目标体运动轨迹。
13.根据权利要求12所述的运动轨迹分析告警装置，其特征在于，所述第二运动轨迹分析模块包括轨迹分析单元，所述轨迹分析单元被配置成执行以下操作：
根据当前图像检测区域内的告警区域获取所述当前图像检测区域内每帧待检测图像上所述告警区域对应的告警图像区域；
获取当前目标体运动轨迹对应的目标体检测框的特定点；
判断所述特定点是否落入所述告警图像区域；
若某个目标体检测框的特定点落入所述告警图像区域，则判定当前目标体运动轨迹进入到所述告警区域并且获取所述当前目标体运动轨迹的轨迹类型，根据所述轨迹类型判断是否存在进入到所述告警区域的行人轨迹或灯光轨迹；
其中，所述特定点包括所述目标体检测框的检测框中心点和/或所述目标体检测框的边界中心点。
14.根据权利要求13所述的运动轨迹分析告警装置，其特征在于，所述轨迹分析单元包括轨迹类型分析子单元，所述轨迹类型分析子单元被配置成执行以下操作：
根据当前目标体运动轨迹对应的每个目标体检测框各自对应的检测框类型和/或所述当前目标体运动轨迹的轨迹状态分析所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹状态包括运动速度和/或运行距离和/或运动方向。
15.根据权利要求14所述的运动轨迹分析告警装置，其特征在于，所述轨迹类型分析子单元被进一步配置成执行以下操作：
若当前目标体运动轨迹对应的目标体检测框包括人体检测框，则直接判定所述当前目标体运动轨迹的轨迹类型是行人轨迹；
若当前目标体运动轨迹对应的目标体检测框未包括人体检测框，则根据所述轨迹状态分析当前目标体运动轨迹的轨迹类型。
16.根据权利要求15所述的运动轨迹分析告警装置，其特征在于，所述轨迹类型分析子单元被进一步配置成在目标体运动轨迹对应的目标体检测框未包括人体检测框时执行以下操作：
获取所述当前目标体运动轨迹对应的目标体画面的图像特征；
根据所述图像特征以及所述当前目标体运动轨迹的运动速度和/或运行距离和/或运动方向构建所述当前目标体运动轨迹的特征向量；
利用分类算法并且根据所述特征向量对所述当前目标体运动轨迹的轨迹类型进行分类分析；
根据分类分析的结果获取所述当前目标体运动轨迹的轨迹类型；
其中，所述轨迹类型包括行人轨迹、灯光轨迹和运动物体轨迹。
17.根据权利要求13所述的运动轨迹分析告警装置，其特征在于，所述轨迹分析单元还包括告警子单元，所述告警子单元被配置成在所述轨迹分析单元判定出当前目标体运动轨迹进入到所述告警区域时执行以下操作：
基于预设的每个轨迹类型各自对应的告警等级并且根据当前目标体运动轨迹对应的轨迹类型输出相应告警等级的告警信息；
其中，所述告警信息包括标注有特定目标体检测框的图像、目标体运动轨迹的轨迹类型、目标体运动轨迹的唯一标识信息以及所述告警区域的唯一标识信息；所述特定目标体检测框是特定点落入告警图像区域的目标体检测框。
18.根据权利要求17所述的运动轨迹分析告警装置，其特征在于，所述轨迹分析单元还包括告警启动子单元，所述告警启动子单元被配置成执行以下操作：
根据当前告警区域的唯一标识信息获取所述当前告警区域的目标体运动轨迹的历史告警信息；
根据所述当前目标体运动轨迹的唯一标识信息判断所述历史告警信息中是否包含所述当前目标体运动轨迹的历史告警信息；
若存在，则不启动所述告警子单元；若不存在，则启动所述告警子单元。
19.一种运动轨迹分析告警装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至9中任一项所述的运动轨迹分析告警方法。
20.一种目标区域监控系统，其特征在于，所述系统包括图像采集装置以及权利要求10至19中任一项所述的运动轨迹分析告警装置；
所述图像采集装置被配置成采集目标区域附近的区域图像并且将采集结果发送至所述运动轨迹分析告警装置；
所述运动轨迹分析告警装置被配置成根据所述图像采集装置发送的采集结果对所述区域图像进行运动轨迹分析并且根据分析结果选择性地输出告警。
21.根据权利要求20所述的目标区域监控系统，其特征在于，所述图像采集装置包括红外图像采集装置和/或激光图像采集装置和/或可见光图像采集装置和/或红外与可见光图像一体式采集装置。
22.一种计算机可读存储介质，所述计算机可读存储介质适于存储多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至9中任一项所述的运动轨迹分析告警方法。
CN202011164863.4A 2020-10-27 2020-10-27 运动轨迹分析告警方法、装置、系统及存储介质 Active CN112287808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011164863.4A CN112287808B (zh) 2020-10-27 2020-10-27 运动轨迹分析告警方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011164863.4A CN112287808B (zh) 2020-10-27 2020-10-27 运动轨迹分析告警方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112287808A CN112287808A (zh) 2021-01-29
CN112287808B true CN112287808B (zh) 2021-08-10

Family

ID=74372308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011164863.4A Active CN112287808B (zh) 2020-10-27 2020-10-27 运动轨迹分析告警方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112287808B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781741A (zh) * 2021-09-15 2021-12-10 南方电网数字电网研究院有限公司 基于网关的电力越界行为告警方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866827A (zh) * 2015-05-19 2015-08-26 天津大学 基于视频监控平台的人员翻越行为的检测方法
CN105894539A (zh) * 2016-04-01 2016-08-24 成都理工大学 基于视频识别和侦测运动轨迹的预防盗窃方法和系统
CN106408938A (zh) * 2016-09-13 2017-02-15 天津工业大学 夜间城市交通监控中各类车辆轨迹的完整提取

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians
CN103150898B (zh) * 2013-01-25 2015-07-29 大唐移动通信设备有限公司 一种夜间车辆检测方法、跟踪方法及装置
CN103778786B (zh) * 2013-12-17 2016-04-27 东莞中国科学院云计算产业技术创新与育成中心 一种基于显著车辆部件模型的交通违章检测方法
KR101616462B1 (ko) * 2014-04-30 2016-04-29 전자부품연구원 차량의 브레이크등을 이용한 야간 전방 차량 인식 방법 및 시스템
US20160042621A1 (en) * 2014-06-13 2016-02-11 William Daylesford Hogg Video Motion Detection Method and Alert Management
CN107766821B (zh) * 2017-10-23 2020-08-04 江苏鸿信系统集成有限公司 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN109859235B (zh) * 2018-10-19 2022-09-13 河海大学常州校区 一种夜间移动车灯跟踪检测系统、方法及设备
CN110446015A (zh) * 2019-08-30 2019-11-12 北京青岳科技有限公司 一种基于计算机视觉的异常行为监控方法及系统
CN110532985B (zh) * 2019-09-02 2022-07-22 北京迈格威科技有限公司 目标检测方法、装置及系统
CN211630273U (zh) * 2019-11-25 2020-10-02 江苏启泰物联网科技有限公司 用于铁路环境的图像智能识别装置
CN111460938B (zh) * 2020-03-20 2022-04-08 南京领行科技股份有限公司 一种车辆行驶行为实时监测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866827A (zh) * 2015-05-19 2015-08-26 天津大学 基于视频监控平台的人员翻越行为的检测方法
CN105894539A (zh) * 2016-04-01 2016-08-24 成都理工大学 基于视频识别和侦测运动轨迹的预防盗窃方法和系统
CN106408938A (zh) * 2016-09-13 2017-02-15 天津工业大学 夜间城市交通监控中各类车辆轨迹的完整提取

Also Published As

Publication number Publication date
CN112287808A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
US9299162B2 (en) Multi-mode video event indexing
US9679203B2 (en) Traffic violation detection
Tian et al. Video processing techniques for traffic flow monitoring: A survey
US9460361B2 (en) Foreground analysis based on tracking information
Sina et al. Vehicle counting and speed measurement using headlight detection
KR101731461B1 (ko) 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법
KR101040049B1 (ko) 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법
KR101731243B1 (ko) 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
US20160092727A1 (en) Tracking humans in video images
Ilias et al. An edge-based method for effective abandoned luggage detection in complex surveillance videos
Vancea et al. Vehicle taillight detection and tracking using deep learning and thresholding for candidate generation
Garg et al. Real-time road traffic density estimation using block variance
Khan et al. An intelligent monitoring system of vehicles on highway traffic
CN112287808B (zh) 运动轨迹分析告警方法、装置、系统及存储介质
Jen et al. Robust detection and tracking of vehicle taillight signals using frequency domain feature based Adaboost learning
JP7125843B2 (ja) 障害検知システム
Kwon et al. Scene modeling-based anomaly detection for intelligent transport system
Varghese et al. Background subtraction for vehicle detection
Monteiro et al. Robust segmentation for outdoor traffic surveillance
Gao et al. Automatic vehicle license plate recognition with color component texture detection and template matching
Małecki et al. Mobile system of decision-making on road threats
KR20210008574A (ko) 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
Padmavathi et al. Vision based vehicle counting for traffic congestion analysis during night time
Taha et al. An efficient method for multi moving objects tracking at nighttime
Bao et al. Context-based object-of-interest detection for a generic traffic surveillance analysis system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant