CN110807377B - 目标跟踪和入侵检测方法、装置、及存储介质 - Google Patents

目标跟踪和入侵检测方法、装置、及存储介质 Download PDF

Info

Publication number
CN110807377B
CN110807377B CN201910989627.7A CN201910989627A CN110807377B CN 110807377 B CN110807377 B CN 110807377B CN 201910989627 A CN201910989627 A CN 201910989627A CN 110807377 B CN110807377 B CN 110807377B
Authority
CN
China
Prior art keywords
target
image frame
current image
preset
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910989627.7A
Other languages
English (en)
Other versions
CN110807377A (zh
Inventor
陈庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910989627.7A priority Critical patent/CN110807377B/zh
Publication of CN110807377A publication Critical patent/CN110807377A/zh
Application granted granted Critical
Publication of CN110807377B publication Critical patent/CN110807377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪和入侵检测方法、装置、及存储介质。其中目标跟踪方法包括：基于CNN检测算法获取当前图像帧中多个目标及各个目标的信息，基于运动检测算法获取该当前图像帧的前景图；然后基于该前景图从该多个目标中获取置信度小于预设第一阈值的运动目标；再将该置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，该第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标；最后基于多目标跟踪算法和当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括该第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。通过上述方式，提高了目标检测率，降低了漏检。

Description

目标跟踪和入侵检测方法、装置、及存储介质
技术领域
本申请涉及安防监控技术领域，特别是涉及一种目标跟踪和入侵检测方法、装置、及存储介质。
背景技术
现有的视频监控技术本质上还是人为监控和半人为监控方式，其中半人为监控方式即通过简单的智能算法来识别大量异常行为，人为过滤错误的报警，并且给报警目标分类。
现有智能监控算法主要包括两种：一种是利用机器学习方法，通过运动检测并跟踪目标得到的运动轨迹来判别入侵行为；另一种是利用CNN检测来检测整个画面的目标，通过跟踪形成的轨迹来判别入侵行为。然而这些现有技术仍存在人力成本高以及漏报误报多的问题，因此，急需一种新的目标跟踪及入侵检测方法，以解决人力成本高以及漏报误报多的问题。
发明内容
本申请要解决的技术问题是提供一种目标跟踪和入侵检测方法、装置、及存储介质，以解决现有技术存在人力成本高以及漏报误报多的问题。
为解决上述技术问题，本申请第一方面提供了一种目标跟踪方法，包括：
针对视频数据流中的当前图像帧，基于CNN检测算法获取所述当前图像帧中多个目标及各个所述目标的信息，基于运动检测算法获取所述当前图像帧的前景图，其中，各个所述目标的信息包括所述目标的置信度；
基于所述前景图从所述多个目标中获取置信度小于预设第一阈值的运动目标；
将所述置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，所述第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标；
基于多目标跟踪算法和所述当前图像帧的第二目标获取当前图像帧的目标轨迹，其中，所述第二目标包括所述第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。
为解决上述技术问题，本申请第二方面提供了一种目标跟踪装置，包括：
CNN检测模块，用于针对视频数据流中的当前图像帧，基于CNN检测算法获取所述当前图像帧中多个目标及各个所述目标的信息；
运动检测模块，用于针对视频数据流中的当前图像帧，基于运动检测算法获取所述当前图像帧的前景图；
获取模块，用于基于所述前景图从所述多个目标中获取置信度小于预设第一阈值的运动目标；
第一信息匹配模块，用于将所述置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，所述第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标；
目标跟踪模块，用于基于多目标跟踪算法和所述当前图像帧的第二目标获取当前图像帧的目标轨迹，其中，所述第二目标包括所述第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。
为解决上述技术问题，本申请第三方面提供了一种目标跟踪装置，所述目标跟踪装置包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现上述的目标跟踪方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现目标跟踪。
为解决上述技术问题，本申请第四方面提供了一种存储介质，存储有能够实现上述的目标跟踪方法的程序文件。
为解决上述技术问题，本申请第五方面提供了一种入侵检测方法，包括：
基于CNN检测结果和运动检测结果计算上述的目标跟踪方法获取的当前图像帧中各个目标轨迹的入侵得分值；
当所述目标轨迹与预设规则线相交、且所述目标轨迹的入侵得分值大于预设第三阈值时，报警；否则，不报警。
为解决上述技术问题，本申请第六方面提供了一种入侵检测装置，包括：
计算模块，用于基于CNN检测结果和运动检测结果计算当前图像帧中各个目标轨迹的入侵得分值；
报警模块，用于当所述目标轨迹与预设规则线相交、且所述目标轨迹的入侵得分值大于预设第三阈值时报警。
为解决上述技术问题，本申请第七方面提供了一种入侵检测装置，所述入侵检测装置包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现上述的入侵检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现入侵检测。
为解决上述技术问题，本申请第八方面提供了一种存储介质，存储有能够实现上述的入侵检测方法的程序文件。
本申请的有益效果是：本发明的目标跟踪方法、装置、及存储介质通过基于CNN检测算法获取当前图像帧中多个目标及各个目标的信息，以及基于运动检测算法获取该当前图像帧的前景图；然后基于该前景图从该多个目标中获取置信度小于预设第一阈值的运动目标，再将该置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，该第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标；最后基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。通过上述方式，利用运动检测的结果对CNN检测到的置信度小于预设第一阈值的目标进行了二次搜索，得到第一目标，提高了目标检测率，降低了漏检情况，且通过上述方式，可以对每个图像帧中基于CNN检测的结果进行修正，从而显著提高了目标检测的鲁棒性。
附图说明
图1是本发明第一实施例的目标跟踪方法的流程示意图；
图2是本发明第一实施例的目标跟踪方法中基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹的子流程示意图；
图3是本发明第二实施例的目标跟踪方法的流程示意图；
图4是本发明第三实施例的入侵检测方法的流程示意图；
图5是本发明第四实施例的入侵检测方法的流程示意图；
图6是本发明实施例的目标跟踪装置的第一结构示意图；
图7是本发明实施例的目标跟踪装置的第二结构示意图；
图8是本发明实施例的目标跟踪装置的第三结构示意图；
图9是本发明实施例的存储介质的第一结构示意图。
图10是本发明实施例的入侵检测装置的第一结构示意图；
图11是本发明实施例的入侵检测装置的第二结构示意图；
图12是本发明实施例的存储介质的第二结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的目标跟踪方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：
步骤S101：针对视频数据流中的当前图像帧，基于CNN检测算法获取该当前图像帧中多个目标及各个目标的信息，以及基于运动检测算法获取该当前图像帧的前景图。
深度学习检测算法具有快速、通用、能够区分类别等特性，但是相应地会产生部分漏检以及误检，尤其在夜晚图像模糊时，不能很好的检测到与背景区分不开的目标，因此，本发明采用运动检测与深度学习检测相融合的方式来实时筛选可疑目标，并对这些可疑目标进行跟踪，从而提高目标检测率，降低漏检情况。可选地，本发明所使用的深度学习检测算法为CNN检测算法。例如在步骤S101中，利用FFMPEG实时获取视频数据流，然后将数据格式转换成CNN检测算法和运动检测算法需要的YUV420格式，再基于CNN检测算法获取该当前图像帧中多个目标及各个所述目标的信息，以及基于运动检测算法获取该当前图像帧的前景图。可选地，各个目标的信息包括目标的置信度，通过预设第一阈值可以将基于CNN检测算法获取的该当前图像帧中的目标分成置信度大于或等于第一阈值的目标即可信目标，和置信度小于第一阈值的目标即不可信目标。对于当前图像帧中的可信目标，可直接作为当前图像帧的可疑目标，并对其进行目标跟踪；而对于当前图像帧中的不可信目标，为了降低漏检情况，提高目标检测率，后续还需要结合运动检测的结果对其进行二次搜索，具体详见步骤S102和步骤S103。
需要说明的是，该第一阈值是通过在CNN训练测试集时挑选出召回率-误检率最大值获得，可选地，该第一阈值的预设范围为0.4～0.8。
可选地，在本实施例中，该CNN检测算法采用的网络为剪裁后的Yolo V3网络，该剪裁后的Yolo V3网络利用imageNet数据集进行预训练，再针对行人、非机动车、机动车等常见目标类型微调。
可选地，在本实施例中，该运动检测算法采用的是vibe算法，为了减少计算量和内存占用，只取图像帧的Y分量，将图像缩放到128*128pix后再进行前景提取。
步骤S102：基于该前景图从CNN检测算法获取到的多个目标中获取置信度小于第一阈值的运动目标。
在步骤S102中，利用前景图从CNN检测算法获取到的置信度小于第一阈值的目标中筛选出运动目标，该筛选方法可以使用本领域中任何合适的方法实现。例如，判断该多个目标中各个置信度小于第一阈值的目标的中心位置是否与前景图重叠；若重叠，则判定该目标为置信度小于第一阈值的运动目标并输出。若不重叠，则判定该目标为置信度小于第一阈值的非运动目标。在本发明中，将该置信度小于第一阈值的非运动目标定义为不可疑目标，在当前图像帧中不需要再对其进行目标跟踪。
步骤S103：将置信度小于第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，该第一目标为第一信息匹配成功的置信度小于第一阈值的运动目标。
经步骤S102得到的置信度小于第一阈值的运动目标中有可能存在其在上一图像帧中属于可疑目标(包括置信度大于或等于第一阈值的运动目标和二次搜索出的目标)，而在当前图像帧中由于被遮挡、或模糊等原因被检测成置信度小于第一阈值的目标，为了防止这类运动目标被漏检，在步骤S103中，将当前图像帧中置信度小于第一阈值的运动目标与上一图像帧更新后的运动目标池中的目标进行第一信息匹配，若第一信息匹配成功，则将当前图像帧中的该第一信息匹配成功的运动目标记为当前图像帧中的第一目标，从而实现了二次搜索过程，提高了目标检测率，降低了漏检情况，且通过该方式，可以对每个图像帧中基于CNN检测的结果进行修正，从而显著提高了目标检测的鲁棒性。
可选地，基于CNN检测获取到的目标的信息包括目标的置信度、中心点位置信息、类型信息和尺寸信息等。可选地，该第一信息匹配过程中使用的信息选自上述的信息、当前图像帧的anchor信息、以及利用CNN检测网络得到的特征层信息中的任意一种或多种的组合。需要说明的是，初始运动目标池基于该视频数据流的第一幅图像帧中置信度大于或等于第一阈值的运动目标构建。
步骤S104：基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括第一目标和当前图像帧中置信度大于或等于第一阈值的目标。
请参阅图2所示，步骤S104至少包括如下子步骤：
步骤S1041：将当前图像帧的第二目标与上一图像帧输出的目标轨迹进行第二信息匹配。
为了提高跟踪精度，降低耗时以及CPU和GPU的占用率，在步骤S1041中，第二信息匹配可以为多层循环匹配，采用的信息包括利用CNN检测网络得到的特征层信息，各个目标的中心点位置信息、置信度、类型信息和尺寸信息，以及当前图像帧的anchor信息。例如可以先利用各个目标的中心点位置信息、置信度、类型信息和尺寸信息，以及当前图像帧的anchor信息来多层过滤非匹配目标，然后利用CNN检测网络得到的特征层信息，包括特征变化量与运动位移变化量加权来关联目标。再例如也可以先利用CNN检测网络得到的特征层信息进行特征粗匹配，然后利用各个目标的中心点位置信息、置信度、类型信息和尺寸信息，以及当前图像帧的anchor信息进行多层匹配。需要说明的是，第一幅图像帧输出的目标轨迹为第一幅图像帧中置信度大于或等于第一阈值的目标的信息。
步骤S1042：针对第二信息匹配成功的当前图像帧的第二目标，用各个所述第二目标的信息对对应的上一图像帧输出的目标轨迹进行更新，并将更新后的轨迹作为当前图像帧的目标轨迹输出；以及针对第二信息匹配失败的当前图像帧的第二目标，将各个所述第二目标的信息作为当前图像帧的目标轨迹输出；以及针对第二信息匹配失败的上一图像帧输出的目标轨迹，对各个所述上一图像帧输出的目标轨迹是否丢帧超时进行判定，针对判定得到的丢帧超时的目标轨迹，删除各个所述目标轨迹；针对判定得到的丢帧未超时的目标轨迹，将各个所述目标轨迹作为当前图像帧的目标轨迹输出。
在步骤S1042中，针对第二信息匹配失败的上一图像帧输出的目标轨迹，对各个所述上一图像帧输出的目标轨迹是否丢帧超时进行判定时，先统计各个所述目标轨迹对应的目标连续丢失的图像帧数，然后将该目标连续丢失的图像帧数与预设第二阈值进行比较，可选地，该第二阈值的预设范围为5～20。当该目标连续丢失的图像帧数大于该第二阈值时，判定该目标对应的目标轨迹丢帧超时，对其进行删除；否则，判定该目标对应的目标轨迹丢帧未超时，标记为丢失状态并输出。
综上所述，经过步骤S104输出的当前图像帧的目标轨迹包括：用各个第二信息匹配成功的当前图像帧的第二目标对对应的上一图像帧输出的目标轨迹进行更新后的轨迹，以第二信息匹配失败的当前图像帧的第二目标的信息定义的轨迹，以及第二信息匹配失败的上一图像帧输出的目标轨迹中丢帧未超时的目标轨迹。
本发明第一实施例的目标跟踪方法通过基于CNN检测算法获取当前图像帧中多个目标及各个目标的信息，以及基于运动检测算法获取该当前图像帧的前景图；然后基于该前景图从该多个目标中获取置信度小于预设第一阈值的运动目标，再将该置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，该第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标；最后基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。通过上述方式，利用运动检测的结果对CNN检测到的置信度小于预设第一阈值的目标进行了二次搜索，得到第一目标，提高了目标检测率，降低了漏检情况，且通过上述方式，可以对每个图像帧中基于CNN检测的结果进行修正，从而显著提高了目标检测的鲁棒性。
图3是本发明第二实施例的目标跟踪方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图3所示的流程顺序为限。如图3所示，该方法包括步骤：
步骤S201：针对视频数据流中的当前图像帧，基于CNN检测算法获取该当前图像帧中多个目标及各个目标的信息，以及基于运动检测算法获取该当前图像帧的前景图。
步骤S202：基于该前景图从CNN检测算法获取到的多个目标中获取置信度小于第一阈值的运动目标。
步骤S203：将置信度小于第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，该第一目标为第一信息匹配成功的置信度小于第一阈值的运动目标。
在本实施例中，图3中的步骤S201至步骤S203分别与图1中的步骤S101至步骤S103类似，为简约起见，在此不再赘述。
步骤S204：获取当前图像帧更新后的运动目标池。
可选地，在步骤S204中，先基于前景图从CNN检测算法获取到的多个目标中获取置信度大于或等于第一阈值的运动目标，其中获取置信度大于或等于第一阈值的运动目标的过程与步骤S202中获取置信度小于第一阈值的运动目标的过程类似，为简约起见，在此不再赘述。然后结合步骤S203中获得的第一目标一起对上一图像帧更新后的运动目标池进行更新，得到当前图像帧更新后的运动目标池，该当前图像帧更新后的运动目标池用于获取下一图像帧的第一目标时使用。
步骤S205：基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括当前图像帧更新后的运动目标池中的目标和当前图像帧中置信度大于或等于第一阈值的非运动目标。
在本实施例中，图3中的步骤S205与图1中的步骤S104类似，为简约起见，在此不再赘述。其中，置信度大于或等于第一阈值的非运动目标的获取可在步骤S204中获取置信度大于或等于第一阈值的运动目标的同时进行。
本发明第二实施例的目标跟踪方法通过基于CNN检测算法获取当前图像帧中多个目标及各个目标的信息，以及基于运动检测算法获取该当前图像帧的前景图；然后基于该前景图从该多个目标中获取置信度小于预设第一阈值的运动目标，再将该置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，该第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标；继续获取当前图像帧更新后的运动目标池；最后基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括当前图像帧更新后的运动目标池中的目标和当前图像帧中置信度大于或等于第一阈值的非运动目标。通过上述方式，利用运动检测的结果对CNN检测到的置信度小于预设第一阈值的目标进行了二次搜索，得到第一目标，提高了目标检测率，降低了漏检情况，且通过上述方式，可以对每个图像帧中基于CNN检测的结果进行修正，从而显著提高了目标检测的鲁棒性。
图4是本发明第三实施例的入侵检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图4所示的流程顺序为限。如图4所示，该方法包括步骤：
步骤S301：对当前图像帧中各个目标轨迹与预设规则线是否相交进行判定。
在本实施例中，当前图像帧中各个目标轨迹根据上述任一实施例所述的目标跟踪方法获取。具体地，在步骤S301中，分别判断当前图像帧中各个目标轨迹与预设规则线是否相交，若相交，则判定该目标轨迹属于入侵行为，并进入步骤S302；否则，则判定该目标轨迹不属于入侵行为。
步骤S302：基于CNN分类算法对各个与预设规则线相交的目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，获取各个与预设规则线相交的目标轨迹的CNN分类结果。
为了避免风吹树叶、影子、动物等带来的误报，在步骤S302中，使用CNN分类算法对各个与预设规则线相交的目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，以获取各个与预设规则线相交的目标轨迹的CNN分类结果。可选地，CNN检测结果包括基于CNN检测获取的类别信息，运动检测结果包括基于运动检测获取的类别信息。可选地，步骤S302中的CNN分类算法采用的网络为剪裁后的Resnet网络，使用前可以先离线训练该剪裁后的Resnet网络，然后再使用该训练好的剪裁后的Resnet网络获取各个与预设规则线相交的目标轨迹的CNN分类结果。
现举例说明，若当前图像帧为第10帧，假设其中一个与预设规则线相交的目标轨迹中刚好包含有10个类别信息，其中有6个类别信息是基于CNN检测算法获取的，4个类别信息是基于运动检测算法获取的，则该目标轨迹中包含的CNN检测结果为6，运动检测结果为4。使用CNN分类算法对这10个类别信息是否正确进行判定，若判定结果显示有7个类别信息检测正确，3个类别信息检测错误，则该目标轨迹的CNN分类结果为7。通过步骤S302，使得每个与预设规则线相交的目标轨迹中都包含了CNN检测结果、运动检测结果和CNN分类结果的信息。
步骤S303：基于预设的CNN检测结果专家权重、预设的运动检测结果专家权重和预设的CNN分类结果专家权重，分别对各个与预设规则线相交的目标轨迹中包含的CNN检测结果、运动检测结果和CNN分类结果进行加权求和，计算各个与预设规则线相交的目标轨迹的入侵得分值。
监控图像包括彩色、黑白和热成像三种图像格式，不同图像格式下，CNN检测、运动检测和CNN分类算法分别呈现出不同的优势。例如彩色图像中背景扰动导致误报多，而CNN分类效果好，此时给予CNN分类结果的专家权重会加大，运动检测结果的专家权重会降低；而在热成像图像中，CNN分类小目标结果较差，运动检测却比较稳定，此时给予CNN分类结果的专家权重会降低，CNN检测结果和运动检测结果的专家权重会加大；因此，预设的专家权重包括针对彩色、黑白、热成像三种图像格式下的专家权重。通过利用三种算法在不同图像格式下分别呈现出的优势，给予三种算法不同的专家权重，然后进行加权求和计算入侵得分值，能够大幅度降低风吹树叶、影子、动物等引起的误报，提高入侵检测精度。
承接上述举例说明，若当前图像帧为彩色图像，且针对彩色图像，预设的CNN检测结果专家权重为a，预设的运动检测结果专家权重为b,预设的CNN分类结果专家权重为c，则该目标轨迹的入侵得分值Q＝a*6+b*4+c*7。
步骤S304：对当前图像帧中各个与预设规则线相交的目标轨迹的入侵得分值是否大于预设第三阈值进行判定。
在步骤S304中，分别判断当前图像帧中各个与预设规则线相交的目标轨迹的入侵得分值是否大于预设第三阈值，若大于，则判定该目标属于报警目标，并进行上报警；否则，判定该目标不属于报警目标，不用上报警，从而避免风吹树叶、影子、动物等带来的误报。可选地，该第三阈值的预设范围为0.4～0.8。
本发明第三实施例的入侵检测方法通过对当前图像帧中各个目标轨迹与预设规则线是否相交进行判定；然后基于CNN分类算法对各个与预设规则线相交的目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，获取各个与预设规则线相交的目标轨迹的CNN分类结果；再基于预设的CNN检测结果专家权重、预设的运动检测结果专家权重和预设的CNN分类结果专家权重，分别对各个与预设规则线相交的目标轨迹中包含的CNN检测结果、运动检测结果和CNN分类结果进行加权求和，计算各个与预设规则线相交的目标轨迹的入侵得分值；最后对当前图像帧中各个与预设规则线相交的目标轨迹的入侵得分值是否大于预设第三阈值进行判定。通过上述方式，能够大幅度降低风吹树叶、影子、动物等引起的误报，显著降低目标误报率，提高入侵检测精度。
图5是本发明第四实施例的入侵检测方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图5所示的流程顺序为限。如图5所示，该方法包括步骤：
步骤S401：基于CNN分类算法对当前图像帧中各个目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，获取各个目标轨迹的CNN分类结果。
在步骤S401中，当前图像帧中各个目标轨迹根据上述任一实施例所述的目标跟踪方法获取。为了避免风吹树叶、影子、动物等带来的误报，本实施例使用CNN分类算法对每一帧多目标跟踪后得到的各个目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，以获取各个目标轨迹的CNN分类结果。可选地，CNN检测结果包括基于CNN检测获取的类别信息，运动检测结果包括基于运动检测获取的类别信息。可选地，步骤S301中的CNN分类算法采用的网络为剪裁后的Resnet网络，使用前可以先离线训练该剪裁后的Resnet网络，然后再使用该训练好的剪裁后的Resnet网络获取各个目标轨迹的CNN分类结果。
现举例说明，若当前图像帧为第10帧，假设该当前图像帧的一个目标轨迹中刚好包含有10个类别信息，其中有6个类别信息是基于CNN检测算法获取的，4个类别信息是基于运动检测算法获取的，则该目标轨迹中包含的CNN检测结果为6，运动检测结果为4。使用CNN分类算法对这10个类别信息是否正确进行判定，若判定结果显示有7个类别信息检测正确，3个类别信息检测错误，则该目标轨迹的CNN分类结果为7。通过步骤S401，使得每个目标轨迹中都包含了CNN检测结果、运动检测结果和CNN分类结果的信息。
步骤S402：基于预设的CNN检测结果专家权重、预设的运动检测结果专家权重和预设的CNN分类结果专家权重，分别对各个目标轨迹中包含的CNN检测结果、运动检测结果和CNN分类结果进行加权求和，计算各个目标轨迹的入侵得分值。
监控图像包括彩色、黑白和热成像三种图像格式，不同图像格式下，CNN检测、运动检测和CNN分类算法分别呈现出不同的优势。例如彩色图像中背景扰动导致误报多，而CNN分类效果好，此时给予CNN分类结果的专家权重会加大，运动检测结果的专家权重会降低；而在热成像图像中，CNN分类小目标结果较差，运动检测却比较稳定，此时给予CNN分类结果的专家权重会降低，CNN检测结果和运动检测结果的专家权重会加大；因此，预设的专家权重包括针对彩色、黑白、热成像三种图像格式下的专家权重。通过利用三种算法在不同图像格式下分别呈现出的优势，给予三种算法不同的专家权重，然后进行加权求和计算入侵得分值，能够大幅度降低风吹树叶、影子、动物等引起的误报，提高入侵检测精度。
承接上述举例说明，若当前图像帧为彩色图像，且针对彩色图像，预设的CNN检测结果专家权重为a，预设的运动检测结果专家权重为b,预设的CNN分类结果专家权重为c，则该目标轨迹的入侵得分值Q＝a*6+b*4+c*7。
步骤S403：对当前图像帧中各个目标轨迹的入侵得分值是否大于预设第三阈值进行判定。
在步骤S403中，分别判断当前图像帧中各个目标轨迹的入侵得分值是否大于预设第三阈值，若大于，则判定该目标属于报警目标，进入步骤S304；否则，判定该目标不属于报警目标，从而避免风吹树叶、影子、动物等带来的误报。可选地，该第三阈值的预设范围为0.4～0.8。
步骤S404：对当前图像帧中各个入侵得分值大于预设第三阈值的目标轨迹与预设规则线是否相交进行判定。
在步骤S404中，分别判断当前图像帧中各个报警目标的轨迹与预设规则线是否相交，若相交，则判定该报警目标的轨迹属于入侵行为，并进行上报警；否则，则判定该报警目标的轨迹不属于入侵行为，不用上报警。
本发明第四实施例的入侵检测方法通过基于CNN分类算法对基于上述目标跟踪算法获得的当前图像帧中各个目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，获取各个目标轨迹的CNN分类结果；然后基于预设的CNN检测结果专家权重、预设的运动检测结果专家权重和预设的CNN分类结果专家权重，分别对各个目标轨迹中包含的CNN检测结果、运动检测结果和CNN分类结果进行加权求和，计算各个目标轨迹的入侵得分值；最后当该目标轨迹与预设规则线相交、且该目标轨迹的入侵得分值大于预设第三阈值时，报警；否则，不报警。通过上述方式，能够大幅度降低风吹树叶、影子、动物等引起的误报，显著降低目标误报率，提高入侵检测精度。
图6是本发明实施例的目标跟踪装置的第一结构示意图。如图6所示，该装置50包括CNN检测模块51、运动检测模块52、获取模块53、第一信息匹配模块54和目标跟踪模块55。
CNN检测模块51，用于针对视频数据流中的当前图像帧，基于CNN检测算法获取该当前图像帧中多个目标及各个目标的信息。
可选地，各个目标的信息包括目标的置信度。
可选地，该CNN检测算法采用的网络为裁剪后的Yolo V3网络。
运动检测模块52，用于针对视频数据流中的当前图像帧，基于运动检测算法获取该当前图像帧的前景图。
可选地，该运动检测算法采用的是vibe算法。
获取模块53分别与CNN检测模块51和运动检测模块52耦接，用于基于该前景图从该多个目标中获取置信度小于预设第一阈值的运动目标。
可选地，获取模块53基于该前景图从该多个目标中获取置信度小于预设第一阈值的运动目标的操作可以为判断该多个目标中各个置信度小于预设第一阈值的目标的中心位置是否与前景图重叠；若是，判定该目标为置信度小于预设第一阈值的运动目标，并输出。
可选地，第一阈值的预设范围为0.4～0.8。
第一信息匹配模块54与获取模块53耦接，用于将该置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，该第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标。
目标跟踪模块55与第一信息匹配模块54耦接，用于基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。
可选地，目标跟踪模块55基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹的操作可以为将该当前图像帧的第二目标与上一图像帧输出的目标轨迹进行第二信息匹配；针对第二信息匹配成功的当前图像帧的第二目标，用各个所述第二目标的信息对对应的上一图像帧输出的目标轨迹进行更新，并将更新后的轨迹作为当前图像帧的目标轨迹输出；针对第二信息匹配失败的当前图像帧的第二目标，将各个所述第二目标的信息作为当前图像帧的目标轨迹输出；针对第二信息匹配失败的上一图像帧输出的目标轨迹，对各个所述上一图像帧输出的目标轨迹是否丢帧超时进行判定；针对判定得到的丢帧超时的目标轨迹，删除各个所述目标轨迹；针对判定得到的丢帧未超时的目标轨迹，将各个所述目标轨迹作为当前图像帧的目标轨迹输出。
可选地，该第二信息匹配为多层循环匹配，采用的信息包括利用CNN检测网络得到的特征层信息，各个目标的中心点位置信息、置信度、类型信息和尺寸信息，以及当前图像帧的anchor信息。
可选地，目标跟踪模块55对各个所述上一图像帧输出的目标轨迹是否丢帧超时进行判定的操作可以为统计各个所述目标轨迹对应的目标连续丢失的图像帧数；将所述目标连续丢失的图像帧数与预设第二阈值进行比较；当所述目标连续丢失的图像帧数大于所述预设第二阈值时，判定所述目标对应的目标轨迹丢帧超时；否则，判定所述目标对应的目标轨迹丢帧未超时。
可选地，该第二阈值的预设范围为5～20。
图7是本发明实施例的目标跟踪装置的第二结构示意图。如图7所示，该装置60包括CNN检测模块61、运动检测模块62、获取模块63、第一信息匹配模块64、更新模块65和目标跟踪模块66。
在本实施例中，图7中的模块61至64分别与图6中的模块51至54类似，为简约起见，在此不再赘述。
更新模块65与第一信息匹配模块64耦接，用于获取当前图像帧更新后的运动目标池。
可选地，更新模块65获取当前图像帧更新后的运动目标池的操作可以为基于该前景图从该多个目标中获取置信度大于或等于预设第一阈值的运动目标；基于该第一目标、和该置信度大于或等于预设第一阈值的运动目标对上一图像帧更新后的运动目标池进行更新，得到当前图像帧更新后的运动目标池。
目标跟踪模块66与更新模块65耦接，用于基于多目标跟踪算法和该当前图像帧的第二目标获取当前图像帧的目标轨迹，该第二目标包括当前图像帧更新后的运动目标和当前图像帧中置信度大于或等于预设第一阈值的非运动目标。
在本实施例中，图7中的模块66与图6中的模块55类似，为简约起见，在此不再赘述。
图8是本发明实施例的目标跟踪装置的第三结构示意图。如图8所示，该装置70包括处理器71及和处理器71耦接的存储器72。
存储器72存储有用于实现上述任一实施例所述的目标跟踪方法的程序指令。
处理器71用于执行存储器72存储的程序指令以实现目标跟踪。
其中，处理器71还可以称为CPU(Central Processing Unit，中央处理单元)。处理器71可能是一种集成电路芯片，具有信号的处理能力。处理器71还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图9，图9为本发明实施例的存储介质的第一结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件81，其中，该程序文件81可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
图10是本发明实施例的入侵检测装置的第一结构示意图。如图10所示，该装置90包括判定模块91、计算模块92和报警模块93。
判定模块91，用于基于CNN分类算法对当前图像帧中各个目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，获取各个目标轨迹的CNN分类结果。
可选地，该当前图像帧中各个目标轨迹基于上述任一实施例所述的目标跟踪方法获取。
可选地，该CNN分类算法采用的网络为剪裁后的Resnet网络。
可选地，该CNN检测结果包括基于CNN检测获取的类别信息，该运动检测结果包括基于运动检测获取的类别信息。
计算模块92与判定模块91耦接，用于基于预设的CNN检测结果专家权重、预设的运动检测结果专家权重和预设的CNN分类结果专家权重，分别对各个目标轨迹中包含的CNN检测结果、运动检测结果和CNN分类结果进行加权求和，计算各个目标轨迹的入侵得分值。
可选地，该预设的所述专家权重包括针对彩色、黑白、热成像三种图像格式下的专家权重。
报警模块93与计算模块92耦接，用于当该目标轨迹与预设规则线相交、且该目标轨迹的入侵得分值大于预设第三阈值时报警。
可选地，该第三阈值的预设范围为0.4～0.8。
图11是本发明实施例的入侵检测装置的第二结构示意图。如图11所示，该装置100包括处理器101及和处理器101耦接的存储器102。
存储器102存储有用于实现上述任一实施例所述的入侵检测方法的程序指令。
处理器101用于执行存储器102存储的程序指令以实现入侵检测。
其中，处理器101还可以称为CPU(Central Processing Unit，中央处理单元)。处理器101可能是一种集成电路芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图12，图12为本发明实施例的存储介质的第二结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件111，其中，该程序文件111可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (21)

1.一种目标跟踪方法，其特征在于，包括：
针对视频数据流中的当前图像帧，基于CNN检测算法获取所述当前图像帧中多个目标及各个所述目标的信息，基于运动检测算法获取所述当前图像帧的前景图，其中，各个所述目标的信息包括所述目标的置信度，其中，所述视频数据流通过实时获得；
基于所述前景图从所述多个目标中获取置信度小于预设第一阈值的运动目标；
将所述置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，所述第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标，其中，对上一图像帧更新后的运动目标池进行更新得到当前图像帧更新后的运动目标池，所述当前图像帧更新后的运动目标池用于获取下一图像帧的第一目标时使用，且初始运动目标池基于所述视频数据流的第一幅图像帧中置信度大于或等于所述第一阈值的运动目标构建；
基于多目标跟踪算法和所述当前图像帧的第二目标获取当前图像帧的目标轨迹，其中，所述第二目标包括所述第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。
2.根据权利要求1所述的方法，其特征在于，各个所述目标的信息包括所述目标的中心位置信息；所述“基于所述前景图从所述多个目标中获取置信度小于预设第一阈值的运动目标”的步骤包括：
判断所述多个目标中各个置信度小于预设第一阈值的目标的中心位置是否与前景图重叠；
若是，判定所述目标为置信度小于预设第一阈值的运动目标，并输出。
3.根据权利要求1所述的方法，其特征在于，包括获取当前图像帧更新后的运动目标池，包括：
基于所述前景图从所述多个目标中获取置信度大于或等于预设第一阈值的运动目标；
基于所述第一目标、和所述置信度大于或等于预设第一阈值的运动目标对所述上一图像帧更新后的运动目标池进行更新，得到当前图像帧更新后的运动目标池。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述第一阈值的预设范围为0.4~0.8。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述CNN检测算法采用的网络为裁剪后的Yolo V3网络。
6.根据权利要求1-3中任一项所述的方法，其特征在于，所述运动检测算法采用的是vibe算法。
7.根据权利要求1所述的方法，其特征在于，所述“基于多目标跟踪算法和所述当前图像帧的第二目标获取当前图像帧的目标轨迹”的步骤包括：
将所述当前图像帧的第二目标与上一图像帧输出的目标轨迹进行第二信息匹配；
针对第二信息匹配成功的当前图像帧的第二目标，用各个所述第二目标的信息对对应的上一图像帧输出的目标轨迹进行更新，并将更新后的轨迹作为当前图像帧的目标轨迹输出；
针对第二信息匹配失败的当前图像帧的第二目标，将各个所述第二目标的信息作为当前图像帧的目标轨迹输出；
针对第二信息匹配失败的上一图像帧输出的目标轨迹，对各个所述上一图像帧输出的目标轨迹是否丢帧超时进行判定；
针对判定得到的丢帧超时的目标轨迹，删除各个所述目标轨迹；针对判定得到的丢帧未超时的目标轨迹，将各个所述目标轨迹作为当前图像帧的目标轨迹输出。
8.根据权利要求7所述的方法，其特征在于，所述第二信息匹配为多层循环匹配，采用的信息包括利用CNN检测网络得到的特征层信息，各个目标的中心点位置信息、置信度、类型信息和尺寸信息，以及当前图像帧的anchor信息。
9.根据权利要求7所述的方法，其特征在于，所述“对各个所述上一图像帧输出的目标轨迹是否丢帧超时进行判定”的步骤包括：
统计各个所述目标轨迹对应的目标连续丢失的图像帧数；
将所述目标连续丢失的图像帧数与预设第二阈值进行比较；
当所述目标连续丢失的图像帧数大于所述预设第二阈值时，判定所述目标对应的目标轨迹丢帧超时；否则，判定所述目标对应的目标轨迹丢帧未超时。
10.根据权利要求9所述的方法，其特征在于，所述第二阈值的预设范围为5~20。
11.一种入侵检测方法，其特征在于，包括：
基于CNN检测结果和运动检测结果计算权利要求1-10中任一项所述的目标跟踪方法获取的当前图像帧中各个目标轨迹的入侵得分值；
当所述目标轨迹与预设规则线相交、且所述目标轨迹的入侵得分值大于预设第三阈值时，报警；否则，不报警；
其中，所述“基于CNN检测结果和运动检测结果计算权利要求1-10中任一项所述的目标跟踪方法获取的当前图像帧中各个目标轨迹的入侵得分值”的步骤包括：
基于CNN分类算法对各个所述目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，获取各个所述目标轨迹的CNN分类结果；
基于预设的CNN检测结果专家权重、预设的运动检测结果专家权重和预设的CNN分类结果专家权重，分别对各个所述目标轨迹中包含的CNN检测结果、运动检测结果和CNN分类结果进行加权求和，计算各个所述目标轨迹的入侵得分值。
12.根据权利要求11所述的方法，其特征在于，所述CNN分类算法采用的网络为剪裁后的Resnet网络。
13.根据权利要求11所述的方法，其特征在于，所述第三阈值的预设范围为0.4~0.8。
14.根据权利要求11所述的方法，其特征在于，预设的所述专家权重包括针对彩色、黑白、热成像三种图像格式下的专家权重。
15.根据权利要求11所述的方法，其特征在于，所述CNN检测结果包括基于CNN检测获取的类别信息，所述运动检测结果包括基于运动检测获取的类别信息。
16.一种目标跟踪装置，其特征在于，包括：
CNN检测模块，用于针对视频数据流中的当前图像帧，基于CNN检测算法获取所述当前图像帧中多个目标及各个所述目标的信息，其中，各个所述目标的信息包括所述目标的置信度，所述视频数据流通过实时获得；
运动检测模块，用于针对视频数据流中的当前图像帧，基于运动检测算法获取所述当前图像帧的前景图；
获取模块，用于基于所述前景图从所述多个目标中获取置信度小于预设第一阈值的运动目标；
第一信息匹配模块，用于将所述置信度小于预设第一阈值的运动目标与上一图像帧更新后的运动目标池进行第一信息匹配得到第一目标，所述第一目标为第一信息匹配成功的置信度小于预设第一阈值的运动目标，其中，对上一图像帧更新后的运动目标池进行更新得到当前图像帧更新后的运动目标池，所述当前图像帧更新后的运动目标池用于获取下一图像帧的第一目标时使用，且初始运动目标池基于所述视频数据流的第一幅图像帧中置信度大于或等于所述第一阈值的运动目标构建；
目标跟踪模块，用于基于多目标跟踪算法和所述当前图像帧的第二目标获取当前图像帧的目标轨迹，其中，所述第二目标包括所述第一目标和当前图像帧中置信度大于或等于预设第一阈值的目标。
17.一种目标跟踪装置，其特征在于，所述目标跟踪装置包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现如权利要求1-10中任一项所述的目标跟踪方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现目标跟踪。
18.一种存储介质，其特征在于，存储有能够实现如权利要求1-10中任一项所述的目标跟踪方法的程序文件。
19.一种入侵检测装置，其特征在于，包括：
计算模块，用于基于CNN检测结果和运动检测结果计算权利要求1-10中任一项所述的目标跟踪方法获取的当前图像帧中各个目标轨迹的入侵得分值；
报警模块，用于当所述目标轨迹与预设规则线相交、且所述目标轨迹的入侵得分值大于预设第三阈值时报警；否则，不报警；
其中，所述“基于CNN检测结果和运动检测结果计算权利要求1-10中任一项所述的目标跟踪方法获取的当前图像帧中各个目标轨迹的入侵得分值”的步骤包括：
判定模块，用于基于CNN分类算法对各个所述目标轨迹中包含的CNN检测结果和运动检测结果是否正确进行判定，获取各个所述目标轨迹的CNN分类结果；
所述计算模块与所述判定模块耦接，用于基于预设的CNN检测结果专家权重、预设的运动检测结果专家权重和预设的CNN分类结果专家权重，分别对各个所述目标轨迹中包含的CNN检测结果、运动检测结果和CNN分类结果进行加权求和，计算各个所述目标轨迹的入侵得分值。
20.一种入侵检测装置，其特征在于，所述入侵检测装置包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现如权利要求11-15中任一项所述的入侵检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现入侵检测。
21.一种存储介质，其特征在于，存储有能够实现如权利要求11-15中任一项所述的入侵检测方法的程序文件。
CN201910989627.7A 2019-10-17 2019-10-17 目标跟踪和入侵检测方法、装置、及存储介质 Active CN110807377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910989627.7A CN110807377B (zh) 2019-10-17 2019-10-17 目标跟踪和入侵检测方法、装置、及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910989627.7A CN110807377B (zh) 2019-10-17 2019-10-17 目标跟踪和入侵检测方法、装置、及存储介质

Publications (2)

Publication Number Publication Date
CN110807377A CN110807377A (zh) 2020-02-18
CN110807377B true CN110807377B (zh) 2022-08-09

Family

ID=69488594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910989627.7A Active CN110807377B (zh) 2019-10-17 2019-10-17 目标跟踪和入侵检测方法、装置、及存储介质

Country Status (1)

Country Link
CN (1) CN110807377B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401228B (zh) * 2020-03-13 2023-12-19 中科创达软件股份有限公司 视频目标标注方法、装置及电子设备
CN111597889B (zh) * 2020-04-09 2022-11-18 苏宁云计算有限公司 一种视频中目标移动的检测方法、装置及系统
CN111681208B (zh) * 2020-05-08 2023-08-22 浙江大华技术股份有限公司 漏装零件检测方法、装置、计算机设备和存储介质
CN111860168B (zh) * 2020-06-18 2023-04-18 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质
CN112001950B (zh) * 2020-08-25 2024-04-19 天地伟业技术有限公司 一种基于目标检测与特征提取结合模型的多目标跟踪算法
CN112150505A (zh) * 2020-09-11 2020-12-29 浙江大华技术股份有限公司 目标对象跟踪器的更新方法和装置、存储介质及电子装置
CN112188212B (zh) * 2020-10-12 2024-02-13 杭州电子科技大学 一种高清监控视频智能转码的方法及装置
CN112418288B (zh) * 2020-11-17 2023-02-03 武汉大学 一种基于gms和运动检测的动态视觉slam方法
CN112418200B (zh) * 2021-01-25 2021-04-02 成都点泽智能科技有限公司 基于热成像的对象检测方法、装置及服务器
CN112802067B (zh) * 2021-01-26 2024-01-26 深圳市普汇智联科技有限公司 一种基于图网络的多目标跟踪方法及系统
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
CN113158800A (zh) * 2021-03-19 2021-07-23 上海云赛智联信息科技有限公司 围界入侵混合检测方法及围界入侵混合检测系统
CN116152667B (zh) * 2023-04-14 2023-06-30 英特灵达信息技术(深圳)有限公司 一种火灾检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
CN107833239A (zh) * 2017-10-26 2018-03-23 辽宁工程技术大学 一种基于加权模型约束的寻优匹配目标跟踪方法
CN109427073A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种运动目标确定方法、装置及电子设备
CN109858436A (zh) * 2019-01-29 2019-06-07 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269269A (zh) * 2016-12-30 2018-07-10 纳恩博（北京）科技有限公司 目标跟踪方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046220A (zh) * 2015-07-10 2015-11-11 华为技术有限公司 一种多目标跟踪方法、装置及设备
CN107507221A (zh) * 2017-07-28 2017-12-22 天津大学 结合帧差法和混合高斯模型的运动目标检测与跟踪方法
CN109427073A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种运动目标确定方法、装置及电子设备
CN107833239A (zh) * 2017-10-26 2018-03-23 辽宁工程技术大学 一种基于加权模型约束的寻优匹配目标跟踪方法
CN109858436A (zh) * 2019-01-29 2019-06-07 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法

Also Published As

Publication number Publication date
CN110807377A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807377B (zh) 目标跟踪和入侵检测方法、装置、及存储介质
CN109446942B (zh) 目标跟踪方法、装置和系统
CN102833478B (zh) 容错背景模型化
CN112634326A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
JP5388829B2 (ja) 侵入物体検知装置
CN111738240A (zh) 区域监测方法、装置、设备及存储介质
KR20000076547A (ko) 안면 화상처리장치
CN111507232B (zh) 多模态多策略融合的陌生人识别方法和系统
CN108280953A (zh) 视频侦测报警方法及装置、存储介质、摄像头
CN112330715A (zh) 一种跟踪方法、跟踪装置、终端设备及可读存储介质
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
KR102486986B1 (ko) 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN110569770A (zh) 人体入侵行为识别方法、装置、存储介质及电子设备
CN111383246A (zh) 条幅检测方法、装置及设备
CN115063381A (zh) 画面区域变化检测方法、装置、电子设备和存储介质
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN113014876A (zh) 视频监控方法、装置、电子设备及可读存储介质
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
CN110503059B (zh) 一种人脸识别方法及系统
CN117133050A (zh) 轿厢异常行为检测方法、装置、设备及存储介质
WO2023184833A1 (zh) 检测结果处理方法和装置、设备、介质及计算机程序产品
JP5318664B2 (ja) 対象物検知装置
CN110782425A (zh) 图像处理方法、图像处理装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant