CN111652106B - 一种目标监控方法、装置、电子设备及其储存介质 - Google Patents

一种目标监控方法、装置、电子设备及其储存介质 Download PDF

Info

Publication number
CN111652106B
CN111652106B CN202010466367.8A CN202010466367A CN111652106B CN 111652106 B CN111652106 B CN 111652106B CN 202010466367 A CN202010466367 A CN 202010466367A CN 111652106 B CN111652106 B CN 111652106B
Authority
CN
China
Prior art keywords
target
detection
module
tracking
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010466367.8A
Other languages
English (en)
Other versions
CN111652106A (zh
Inventor
杨森泉
周峰
陈锦儒
李璞
胡松喜
曾建国
文昊翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoguan Xun'an Security And Safety Science & Technology Co ltd
Shaoguan University
Original Assignee
Shaoguan Xun'an Security And Safety Science & Technology Co ltd
Shaoguan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoguan Xun'an Security And Safety Science & Technology Co ltd, Shaoguan University filed Critical Shaoguan Xun'an Security And Safety Science & Technology Co ltd
Priority to CN202010466367.8A priority Critical patent/CN111652106B/zh
Publication of CN111652106A publication Critical patent/CN111652106A/zh
Application granted granted Critical
Publication of CN111652106B publication Critical patent/CN111652106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标监控方法，包括获取图像信息以及目标特征参数；根据目标特征参数执行目标检测算法进行目标检测；调用目标跟踪算法跟踪目标检测中所识别到的目标并对目标的空间值与时间值的进行关联。本发明还提供了实现上述方法的目标监控装置、目标监控电子设备以及包含计算机可执行指令的存储介质。与现有技术相比，本发明一方面解决了目标检测算法的关联信息无法充分地利用，精度无法进一步提高的技术问题，也解决了对于特征不断变化的动态目标，目标检测算法不能很好地进行实时跟踪的技术问题，另一方面解决了单独使用目标跟踪算法无法识别目标的技术问题，两者相结合，既能保证准确捕捉动态目标，又能实现高精度、高速度的监控。

Description

一种目标监控方法、装置、电子设备及其储存介质
技术领域
本发明涉及计算机视觉技术领域，特别是涉及目标监控方法、装置、电子设备及其储存介质。
背景技术
在现今社会中，由于智能监控与传统的人工监控方式相比，具有节省大量的人力成本，极大提高预防突发事件能力的优点，其设备遍布每个角落。例如专利申请号201610887754.2中公开了一种智能火灾系统，请参阅图1，包括图像采集模块，用于实时获取监控范围内的图像信息；处理模块，用于对图像采集模块获取的图像信息进行相应处理，获取所述监控范围内的火焰信息，判断所述监控范围内是否发生火灾；预警模块，用于在所述处理模块判定所述监控范围内发生火灾时发出预警信号；供电模块，用于为所述图像采集模块、处理模块和预警模块供电。该智能火灾系统通过背景相减法从所述图像采集模块所采集到的视频图像中检测出运动区域，并将无关的背景进行完全减除，然后根据运动区域中的火焰区域进行识别从而实现利用视觉对火灾进行监控。
其中，上述专利中进行检测时所使用的背景相减法由于其算法简单，实时性强，而被现有技术大多数同类型的视频监控方法所应用。然而背景相减法是将当前帧图像与一帧没有移动目标的背景相减，从而得到运动目标区域，此种情况下，没有移动目标的背景图像是预先存储好的，如果场景中出现大量运动的物体，没有移动的背景图像的有效面积将大大地缩减，因此对其精度造成影响。与此同时背景相减法的结果还容易受到光线、天气、摄像头抖动或者遮挡等外界条件变化的影响，特别是对室外多个运动目标进行监控时，其精度进一步受到影响。此外，现有技术大多数视频监控方法只对输入的每一帧图像进行检测而忽略上下文的关系，因此需要频繁调用数据，对监控的速度也有一定的影响。
发明内容
基于此，本发明的目的在于，提供一种既能保证对目标判定精度，又能保证监控速度的目标监控方法。该目标监控方法包括以下步骤：
获取目标特征参数；
根据所述目标特征参数执行目标检测算法进行目标检测；若检测到符合所述目标特征参数的目标，则识别目标并提取第一目标特征并保存到本地数据库；若没有检测到符合所述目标特征参数的目标，则继续执行目标检测算法以进行所述目标检测；
调用目标跟踪算法跟踪所述目标检测中所识别到的目标并对所述目标的空间值与时间值的进行关联；执行所述目标跟踪算法时，以所述目标的颜色特征为第二目标特征并根据所述第二目标特征进行所述目标的空间值与时间值的估计与跟踪，设置以是否跟踪到所述目标为标准的目标跟踪置信值；更新所述本地数据库中的所述目标的空间值与时间值；
判断所述目标跟踪置信值是否低于阈值；若是，则执行所述目标检测算法进行所述目标检测；若不是，则继续执行所述目标跟踪算法跟踪所述目标。
相比于现有技术，本发明在执行目标检测算法识别目标后，在调用目标跟踪算法并根据目标移动变化情况对目标检测算法与目标跟踪算法进行选择应用，既能保证准确地捕捉到目标，又能保证对动态目标的跟踪，能实现高精度、高速的追踪；与此同时，利用帧间目标的相关性来提高检测器的精度，减少调用目标检测算法的频率提高网络效率，通过一种基于目标跟踪算法置信度的调度机制将目标检测算法和目标跟踪算法有效地结合起来，一方面解决了目标检测算法CenterNet的关联信息无法充分地利用，精度无法进一步提高的技术问题，也解决了对于特征不断变化的动态目标，目标检测算法CenterNet不能很好地进行实时跟踪的技术问题，另一方面解决了单独使用目标跟踪算法Staple时无法识别目标的技术问题，两者相结合，既能保证准确捕捉动态目标，又能实现高精度、高速度的监控。
进一步，所述目标检测算法为CenterNet检测算法；所述目标跟踪算法为Staple目标跟踪算法。
进一步，根据目标特征参数建立所述目标检测算法的训练集并对所述目标检测算法进行训练，通过训练获取包括根据目标特征参数分类的参数集；
根据目标特征参数执行目标检测算法进行目标检测的步骤还包括：若检测到符合所述参数集的目标，则识别目标并以所述参数集为第三目标特征提取并保存到本地数据库；若没有检测到符合所述参数集的目标，则继续执行目标检测算法以进行所述目标检测；
调用目标跟踪算法跟踪所述目标检测中所识别到的目标并对所述目标的空间值与时间值的进行关联的步骤还包括：执行所述目标跟踪算法时，根据所述第三目标特征进行所述目标的空间值与时间值的估计与跟踪，并设置以是否跟踪到所述目标为标准的目标跟踪置信值；更新所述本地数据库中的所述目标的空间与时间值。
进一步，所述目标检测算法包括自适应尺度随机图像块采样方法，所述自适应尺度随机图像块采样方法包括以下步骤：
获取检测框的长宽值以及所述检测框的数量；
根据所述检测框的长宽值以及数量利用二维高斯概率分布函数计算获取所述检测框的中心坐标；
以中心坐标为中心建立与所述检测框数量相同的图像块且所述图像块的大小正比于所述检测框的长宽值；
进行所述图像块的颜色相似度计算获取所述颜色相似度值不超过阈值的图像块。
进一步，多个各自独立的本地数据库之间相互通讯，进行所述目标的空间值与时间值的共享并实时更新所述本地数据库中的所述目标的空间值与时间值。
本发明同时还提供一种目标监控装置，包括：
目标检测模块，用于执行目标检测算法；
目标跟踪模块，用于执行目标跟踪算法；
跟踪调度模块，分别与所述目标检测模块以及所述目标跟踪模块连接，用于根据所述目标检测模块反馈的检测结果以及所述目标跟踪模块反馈的目标跟踪置信值为依据，判定调用所述目标检测模块或所述目标跟踪模块；以及
数据储存模块，分别与所述目标检测模块以及所述目标跟踪模块连接；用于储存所述目标检测模块和所述目标跟踪模块执行其算法后的结果。
进一步，所述目标检测模块包括训练模块，用于执行目标检测算法训练指令，并将训练所得的参数集储存在所述数据储存模块中；
所述目标跟踪模块包括分类模块，用于执行分类指令，对所述参数集进行分类并对不同的分类类别进行跟踪。
进一步，还包括通讯模块，多个目标监控装置的数据储存模块通过所述通讯模块连接并进行数据的发送与接收。
本发明同时还提供一种目标监控电子设备，包括：
存储器、摄像头以及与所述存储器、所述摄像头连接的处理器；
所述存储器，用于存储一个或多个程序；
所述摄像头进行拍摄并将拍摄结果传送至所述处理器
当所述一个或多个程序被所述处理器执行，使得所述处理器实现上述的目标监控方法。
本发明同时还提供一种包含计算机可执行指令的储存介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述的目标监控方法。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为现有技术中一种智能火灾系统的结构示意图；
图2为本发明中的目标监控方法的流程图；
图3为本发明中的目标监控装置的结构示意图；
图4为本发明中应用自适应尺度随机图像块采样方法的一个实施例；
图5为本发明中的应用目标监控方法的一个实施例。
具体实施方式
请参阅图2，图2为本发明实施例中目标监控方法的流程图。该目标监控方法包括如下步骤：
步骤S10：获取图像信息以及目标特征参数并根据所述目标特征参数执行目标检测算法进行目标检测；若符合所述目标特征参数的目标出现在监控范围内，则识别目标并将所述目标特征参数作为第一目标特征保存到本地数据库以作空间关联；若符合所述目标特征参数的目标没有出现在监控范围内，则继续执行所述目标检测算法以进行所述目标检测。
其中，在本实施例中，所使用的目标检测算法为基于卷积神经网络CenterNet检测算法。与背景相减法相比较，目标检测算法CenterNet利用端到端的边界框角点进行检测，能达到52帧每秒的检测速度，实现快速检测，提高检测速度。
步骤S20：调用目标跟踪算法跟踪所述目标检测中所识别目标并对所述目标的空间值与时间值的进行关联。对所述目标的颜色特征进行分类并作为第二目标特征，使用目标跟踪算法时，对所述第二目标特征在上一帧中的目标位置以及当前帧目标中的位置进行所述目标的空间值与时间值跟踪和估计，并设置以是否跟踪到所述第二目标特征为判定标准的目标跟踪置信值；所述本地数据库储存所述第二目标特征并在跟踪的过程中随时更新所述目标的第二目标特征的空间值与时间值，从而实现所述本地数据库中的目标特征实时更新以及对所述目标所在的时间与空间的监控。
其中，在本实施例中，所使用的目标跟踪算法为Staple，且根据出现在检测范围内的目标进行颜色分类，利用颜色类别进行跟踪。目标检测算法CenterNet虽然能达到高速检测，但是在检测目标的视频图像序列中，存在着大量关联信息，而目标检测算法CenterNet是基于单个图像的检测方式，这些关联信息在进行目标检测算法CenterNet没有得到充分地利用，对于特征参数不断变化的动态目标不能实现实时跟踪，因此无法进一步提高监控的精度和对动态目标进行跟踪。为充分利用视频图像中时序相关信息，提高目标识别的准确率，调用能对已检测的目标在时域上进行关联的目标跟踪算法Staple，且目标跟踪算法Staple的跟踪速度达到80帧每秒，且具有抗目标尺度变化和形状变化的鲁棒性。根据上一帧目标位置对当前帧目标进行估计，得到跟踪结果后，对目标特征进行提取并更新，从而实现时间上关联目标，在跟踪的过程中同时更新数据库中目标的特征。目标检测算法CenterNet与目标跟踪算法Staple，一方面解决了目标检测算法CenterNet的关联信息无法充分地利用，精度无法进一步提高的技术问题，也解决了对于特征不断变化的动态目标，目标检测算法CenterNet不能很好地进行实时跟踪的技术问题；另一方面解决了单独使用目标跟踪算法Staple时无法识别目标的技术问题，两者相结合，既能保证准确捕捉动态目标，又能实现高精度、高速度的监控。
步骤S30：判断目标是否离开跟踪范围；若是，则返回执行步骤S10；若否，则继续执行步骤S20。
其中，在本实施例中，判断目标是否离开跟踪范围通过判定所述分类类别的目标跟踪置信度是否低于阈值实现，若低于阈值，则判定目标离开跟踪范围；若不低于阈值，则判定目标没有离开跟踪范围。其跟踪算法的具体判定过程如下：
(A)用hi表示第i个目标返回的目标跟踪置信值，用Frame表示已跟踪帧数，Det是否为1表示是否检测到目标，当hi和满足下面公式：
继续调用跟踪算法对目标进行跟踪，同时Frame＝Frame+1，否则，调用检测算法进行检测。
(B)当Frame满足下面公式：
Frame mod 5＝0
则令Det＝0，重新调用检测算法进行目标检测，从而避免因为跟踪时间过长而导致无法实时检测进入监控范围的目标。
优选地，在步骤S10前还包括步骤S00，其内容如下：
步骤S00：根据目标特征参数建立所述目标检测算法的训练集并对所述目标检测算法进行训练，通过训练获取包括根据目标特征参数分类的参数集。
例如，根据形状参数进行训练获取形状集、或是根据行为参数进行训练获取行为集等。
在本实施例中，具体训练步骤如下：
(A’)利用大量的感兴趣目标图片对CenterNet目标检测算法进行训练，例如行人是一种典型的非刚性目标，作为本实施例中的目标特征参数，在COCO数据库中获取所有行人图片作为训练集，通过对CenterNet目标检测算法进行训练，使得目标检测算法能自动识别并检测行人。
(B’)令表示CenterNet目标检测算法输出的行人检测结果，对/>进行HSV颜色提取，组成目标特征直方图/>通过计算检测结果与前一帧已识别目标之间的交互区域构造一个开销矩阵/>利用匈牙利算法求解出A的最优指派，从而实现目标的空间关联。
(C’)为了增强最优指派的鲁棒性，令表示CenterNet目标检测算法输出的行人检测结果，对/>进行HSV颜色提取，组成目标特征直方图/>通过计算检测结果与已识别目标之间的交互区域构造一个开销矩阵/>利用匈牙利算法求解出A的最优指派，从而实现目标的空间关联识别。对于未被关联的检测结果则与数据库中目标进行特征对比，从而对所有检测结果的关联。
步骤S10：根据所述参数集执行目标检测算法进行目标检测；若检测到符合所述参数集的目标，则识别目标并以所述参数集为第三目标特征提取并保存到本地数据库；若没有检测到符合所述参数集的目标，则继续进行所述目标检测；
步骤S20：调用目标跟踪算法跟踪所述目标检测中所识别目标并作空间与时间的关联，使用目标跟踪算法时根据所述第三目标特征进行跟踪，对所述第三目标特征在上一帧中的目标位置以及当前帧目标中的位置进行所述目标的空间值与时间值跟踪和估计，并设置以是否跟踪到所述第三目标特征为判定标准的目标跟踪置信值；所述本地数据库储存并随时更新在跟踪的过程中所述目标的第三目标特征的空间值与时间值，从而实现所述本地数据库中的目标特征实时更新以及对所述目标所在的时间与空间的监控。
优选地，使用所述目标跟踪算法时，同时对以所述参数集为第三目标特征以及以所述目标的颜色特征为第二目标特征的空间值与时间值进行估计，从而实现多目标跟踪。与单目标跟踪相比，使用所述参数集进行跟踪能有效地消除亮度变化的影响，与此同时对颜色特征进行跟踪能抵抗目标形状变化和尺度变化的干扰，两者的结合实现多目标跟踪的同时能提高跟踪精度。
此外，利用目标特征进行跟踪时，具体步骤如下：
(a)对每一个已识别的目标，在目标区域利用循环位移产生大量的样本来训练模板分类器A：
其中表示傅里叶变换，y为高斯核函数，k的元素由样本进行希尔伯特映射组成，λ为正则项因子(设为0.001)。同时，利用目标区域O以及其周围图像区域S的颜色直方图训练颜色分类器P：
其中b表示直方图库(bin)。
(b)为了确定所跟踪的目标在新一帧图像的位置，首先利用前一帧目标的位置在新一帧图像中截取一个感兴趣区z，对z进行循环位移以及映射产生新的核矩阵Kz＝C(kxz)，将Kz输入已训练好的模板分类器A，得到模板分类器的响应值：
其中表示傅里叶逆变换。利用颜色分类器P计算感兴趣区z的响应值：
(c)对两个分类器进行线性组合，得到感兴趣区的响应值：
通过查找中最大值为当前跟踪的置信度，所对应的位置为跟踪结果。
(d)在获得目标的新位置后，对其进行HSV颜色特征提取，通过对目标的特征进行更新，达到时间关联目标的目的。
进一步，在步骤10中，由于CenterNet目标检测算法是利用端到端的边界框角点进行检测，也就是说，输出的目标是一个矩形图像框，不可避免地会包含大量的背景信息，这会对目标的识别造成重大的干扰。此外，由于目标一般位于检测框的中心位置，因此对于中心位置采集更多的样本，对于远离中心位置则采集少量样本，这就可能造成样本不完整的情况。为提高抗干扰性，在进行目标检测时，本发明采用自适应尺度随机图像块采样方法，请参阅图4，图4为应用所述自适应尺度随机图像块采样方法的一个实施例，为对现实生活中的目标进行检测的画面。利用二维高斯概率分布函数确定采集图像块的中心位置，图像块的大小自适应地随着检测图像框成正比。该采样方法能够有效地去除背景部分信息的干扰，同时也能解决所检测的目标大小不一的问题。所采集到的图像块以检测框的中心分成上下两部分，然后按照颜色属性映射的方法组成一个颜色直方图来表征目标。其步骤包括如下：
(A”)获取检测框的长宽值以及所述检测框的数量。
(B”)根据所述检测框的长宽值以及数量利用二维高斯概率分布函数计算获取所述检测框的中心坐标。
(C”)以中心坐标为中心建立与所述检测框数量相同的图像块且所述图像块的大小正比于所述检测框的长宽值。
(D”)进行所述图像块的颜色相似度计算获取所述颜色相似度值不超过阈值的图像块。
具体计算步骤如下：
(a’)给定检测框其中M和N分别表示检测框的长和宽，K个图像块的中心通过以下二维高斯概率分布函数确定：
其中：μ＝[M/2,N/2]T表示检测框的中心；p＝[x,y]T框内点坐标，为协方差矩阵。利用高斯函数的正态分布性，可以采集更多的目标信息，有效排除背景信息。
(b’)提取K个图像块的中心坐标后，图像块的尺寸S×S则正比于检测框的尺寸，其定义如下：
(c’)对于两个颜色直方图H1和H2的相似度定义如下：
其中：m表示直方图库(bin)的数目
进一步，存在多个各自独立数据库时，各个数据库中可进行数据交换，对目标特征以及所述目标的时间值与空间值进行共享，其具体过程如下：
和/>分别表示出现在第c个摄像机和第o个摄像机标识符为j目标的表观颜色特征；λ是更新因子。
通过对数据库中的目标特征进行更新。
进一步，为了确保检测到重新进入监控区域的目标，可每一定时间间隔就调用检测算法进行目标检测。
请参阅图5，图5为应用本发明的目标监控方法的一个实施例，为对现实生活中的目标进行监控时的画面。跟踪目标为从图5的中左侧进入监测区域的白衣行人，所述白衣行人一开始只有上半身出现在监控区域内，随着时间的推移，所述白衣行人的整个轮廓慢慢地全部出现在监控区域中，由于所述白衣行人的轮廓发生变化，如果单独使用目标检测算法进行检测，无法判别轮廓不同的目标为同一个目标，但是如果此时以目标检测算法所识别到的目标作为追踪目标并调用目标跟踪算法，通过建立视频序列之间的时空关联性进行跟踪，并随着目标的轮廓变换实时更新目标的表观特征，增强系统鲁棒性，就能保证对动态目标实现跟踪。
请参阅图3，本发明还提供了一种目标监控装置，包括：
目标检测模块10，用于执行目标检测算法。
目标跟踪模块20，用于执行目标跟踪算法。
跟踪调度模块30，分别与所述目标检测模块10以及所述目标跟踪模块20连接，用于根据所述目标检测模块10反馈的检测结果以及所述目标跟踪模块20反馈的目标跟踪置信值为依据，判定调用所述目标检测模块10或所述目标跟踪模块20。以及
数据储存模块40，分别与所述目标检测模块10以及所述目标跟踪模块20连接；用于储存所述目标检测模块10和所述目标跟踪模块20执行其算法后的结果。
其中，所述目标检测模块10包括训练模块100，用于执行目标检测算法训练指令，并将训练所得的参数集储存在所述数据储存模块40中。在本实施例中，执行所述训练指令时，使用多张行人的图片作为训练参考，使得所述目标检测模块10自动识别行人并输出对行人的检测结果。
所述目标跟踪模块20包括分类模块200。所述分类模块200用于执行分类指令，对跟踪目标的特征进行分类并根据分类类别进行跟踪。其中，在本实施例中，所述分类模块200包括参数分类模块210以及颜色分类220模块，所述参数分类模块210执行参数分类指令，根据储存在所述数据储存模块40中训练所得的参数集进行分类；所述颜色分类220执行颜色分类指令，根据目标特征的颜色进行分类。
进一步，多个目标监控装置的数据储存模块40通过通讯模块(图未示)连接，并采用分布式星型全连接方式相互连接形成连接网，各数据储存模块40之间进行数据的发送与接收，读取其他目标监控装置中数据储存模块40的数据，且各个目标监控装置可自由地加入所述连接网中，从而实现随着目标的移动调用不同的目标监控装置进行跟踪。优选地，通过无线通讯模块(图未示)，无线通讯信号包括Wifi、蓝牙以及数据信号等。
进一步，本发明还提供了一种目标监控电子设备，所述目标监控电子设备包括：处理器、存储器、通信模块以及摄像头。所述电子设备中处理器的数量可以是一个或者多个，所述电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块可以通过总线或者其他方式连接。
存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，用于存储上述的目标监控方法所对应的程序指令/模块，例如，目标监控装置中的目标检测模块10、目标跟踪模块20、跟踪调度模块30以及数据储存模块40等。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。所述网络包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块用于建立无线连接，并进行数据传输。
处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的目标监控方法，并获得相应的功能和有益效果。
摄像头用于拍摄图像，包括图片图像以及视频图像并传输到存储器进行保存，以及传输到所述处理器进行处理。
本发明还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一项目标监控方法。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
相比于现有技术，本发明中的目标监控方法根据目标移动变化情况对目标检测算法与目标跟踪算法进行选择应用，在保证准确捕捉到追踪目标的同时，能实现高精度、高速的追踪，利用帧间目标的相关性来提高检测器的精度，同时减少调用目标检测算法的频率提高网络效率，通过一种基于目标跟踪算法置信度的调度机制将目标检测算法和目标跟踪算法有效地结合起来，从而提高目标监控的精确度以及速度。此外，所提供的目标检测算法能有效地去除背景部分信息的干扰，抗干扰性强，同时也解决所检测的目标大小不一的技术问题，从而进一步提高检测的精度。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种目标监控方法，其特征在于，包括如下步骤：
根据目标特征参数建立目标检测算法的训练集并对所述目标检测算法进行训练，通过训练获取包括根据所述目标特征参数分类的参数集；
根据所述参数集执行所述目标检测算法进行目标检测；所述目标检测算法为CenterNet检测算法，并采用自适应尺度随机图像块采样方法；若检测到符合所述参数集的目标，则识别目标并将所述参数集作为第三目标特征保存到本地数据库；若没有检测到符合所述参数集的目标，则继续执行所述目标检测算法以进行所述目标检测；
调用目标跟踪算法跟踪所述目标检测中所识别到的目标，并对所述目标的空间值与时间值进行关联；所述目标跟踪算法为Staple目标跟踪算法；执行所述目标跟踪算法时，以所述目标的颜色特征为第二目标特征，并同时根据所述第三目标特征和所述第二目标特征进行所述目标的空间值与时间值的跟踪与估计，设置以是否跟踪到所述目标为标准的目标跟踪置信值；更新所述本地数据库中的所述目标的空间值与时间值；
判断所述目标跟踪置信值是否低于阈值；若是，则执行所述目标检测算法进行所述目标检测；若不是，则继续执行所述目标跟踪算法跟踪所述目标；
所述自适应尺度随机图像块采样方法包括以下步骤：
获取检测框的长宽值以及所述检测框的数量；
根据所述检测框的长宽值以及数量利用二维高斯概率分布函数计算获取所述检测框的中心坐标；
以中心坐标为中心建立与所述检测框数量相同的图像块且所述图像块的大小正比于所述检测框的长宽值；
进行所述图像块的颜色相似度计算获取所述颜色相似度值不超过阈值的图像块。
2.根据权利要求1所述的目标监控方法，其特征在于，还包括
多个各自独立的本地数据库之间相互通讯，进行所述目标的空间值与时间值的共享并实时更新所述本地数据库中的所述目标的空间值与时间值。
3.一种目标监控装置，其特征在于，包括
目标检测模块，用于执行目标检测算法，所述目标检测算法为CenterNet检测算法，并采用自适应尺度随机图像块采样方法，所述自适应尺度随机图像块采样方法包括：获取检测框的长宽值以及所述检测框的数量；根据所述检测框的长宽值以及数量利用二维高斯概率分布函数计算获取所述检测框的中心坐标；以中心坐标为中心建立与所述检测框数量相同的图像块且所述图像块的大小正比于所述检测框的长宽值；进行所述图像块的颜色相似度计算获取所述颜色相似度值不超过阈值的图像块；
目标跟踪模块，所述目标跟踪模块用于执行目标跟踪算法，所述目标跟踪算法为Staple目标跟踪算法，执行所述目标跟踪算法时，以目标的颜色特征为第二目标特征，根据目标特征参数分类的参数集作为第三目标特征，并同时根据所述第三目标特征和所述第二目标特征进行所述目标的空间值与时间值的跟踪与估计，设置以是否跟踪到所述目标为标准的目标跟踪置信值；更新本地数据库中的所述目标的空间值与时间值；所述目标跟踪模块包括分类模块， 用于执行分类指令，对根据目标特征参数分类的参数集进行分类并对不同的分类类别进行跟踪；
跟踪调度模块，分别与所述目标检测模块以及所述目标跟踪模块连接，用于根据所述目标检测模块反馈的检测结果以及所述目标跟踪模块反馈的目标跟踪置信值为依据，判定调用所述目标检测模块或所述目标跟踪模块；以及
数据储存模块，分别与所述目标检测模块以及所述目标跟踪模块连接；用于储存所述目标检测模块和所述目标跟踪模块执行其算法后的结果。
4.根据权利要求3所述的目标监控装置，其特征在于，
所述目标检测模块包括训练模块，用于执行目标检测算法训练指令，并将训练所得的参数集储存在所述数据储存模块中。
5.根据权利要求4所述的目标监控装置，其特征在于，还包括通讯模块，多个目标监控装置的数据储存模块通过所述通讯模块连接并进行数据的发送与接收。
6.一种目标监控电子设备，其特征在于，包括
存储器、摄像头以及与所述存储器、所述摄像头连接的处理器；
所述存储器，用于存储一个或多个程序；
所述摄像头进行拍摄并将拍摄结果传送至所述处理器
当所述一个或多个程序被所述处理器执行，使得所述处理器实现如权利要求1或2中任一项所述的目标监控方法。
7.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1或2中任一项所述的目标监控方法。
CN202010466367.8A 2020-05-28 2020-05-28 一种目标监控方法、装置、电子设备及其储存介质 Active CN111652106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010466367.8A CN111652106B (zh) 2020-05-28 2020-05-28 一种目标监控方法、装置、电子设备及其储存介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466367.8A CN111652106B (zh) 2020-05-28 2020-05-28 一种目标监控方法、装置、电子设备及其储存介质

Publications (2)

Publication Number Publication Date
CN111652106A CN111652106A (zh) 2020-09-11
CN111652106B true CN111652106B (zh) 2024-02-02

Family

ID=72351025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010466367.8A Active CN111652106B (zh) 2020-05-28 2020-05-28 一种目标监控方法、装置、电子设备及其储存介质

Country Status (1)

Country Link
CN (1) CN111652106B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830879A (zh) * 2018-05-29 2018-11-16 上海大学 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
CN110287855A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种行人轨迹获取方法以及系统
CN110532894A (zh) * 2019-08-05 2019-12-03 西安电子科技大学 基于边界约束CenterNet的遥感目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767673B (zh) * 2017-11-16 2019-09-27 智慧互通科技有限公司 一种基于多摄像机的路侧停车管理方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830879A (zh) * 2018-05-29 2018-11-16 上海大学 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
CN110287855A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种行人轨迹获取方法以及系统
CN110532894A (zh) * 2019-08-05 2019-12-03 西安电子科技大学 基于边界约束CenterNet的遥感目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于稀疏分析的鲁棒目标跟踪研究;杨森泉;《中国博士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
CN111652106A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
Goyette et al. Changedetection. net: A new change detection benchmark dataset
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN108846854B (zh) 一种基于运动预测与多特征融合的车辆跟踪方法
Bloisi et al. Independent multimodal background subtraction.
US10614736B2 (en) Foreground and background detection method
Peng et al. Drone-based vacant parking space detection
CN111462155B (zh) 移动侦测方法、装置、计算机设备和存储介质
CN109299703A (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN114022830A (zh) 一种目标确定方法以及目标确定装置
WO2022142417A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
CN111553302B (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
CN113763431B (zh) 一种目标跟踪方法、系统、电子装置及存储介质
CN111553915A (zh) 物品识别检测方法、装置、设备和可读存储介质
CN109996377B (zh) 一种路灯控制方法、装置及电子设备
CN115661720A (zh) 一种被遮挡车辆的目标跟踪识别方法及系统
CN112651398A (zh) 车辆的抓拍控制方法、装置及计算机可读存储介质
CN109727268A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN114422720A (zh) 视频浓缩方法、系统、装置和存储介质
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
CN111652106B (zh) 一种目标监控方法、装置、电子设备及其储存介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant