CN110070560B - 基于目标检测的物体运动方向识别方法 - Google Patents

基于目标检测的物体运动方向识别方法 Download PDF

Info

Publication number
CN110070560B
CN110070560B CN201910214569.0A CN201910214569A CN110070560B CN 110070560 B CN110070560 B CN 110070560B CN 201910214569 A CN201910214569 A CN 201910214569A CN 110070560 B CN110070560 B CN 110070560B
Authority
CN
China
Prior art keywords
motion
frame
matched
detection
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910214569.0A
Other languages
English (en)
Other versions
CN110070560A (zh
Inventor
孙钦东
冯星瑜
高凯轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjiang Youtong Intelligent Technology Co ltd
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910214569.0A priority Critical patent/CN110070560B/zh
Publication of CN110070560A publication Critical patent/CN110070560A/zh
Application granted granted Critical
Publication of CN110070560B publication Critical patent/CN110070560B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的物体运动方向的识别方法，其过程是:每个运动轨迹对应一个物品的运动，每识别一帧，将该帧的所有检测结果与当前所有的运动轨迹做全排列，然后根据相同物品最小距离匹配等条件去除不匹配的运动轨迹，并标记未与当前运动轨迹匹配的检测结果为待匹配结果，等待下一帧继续匹配。根据运动轨迹可识别物品的运动方向。本发明的方法对物品运动方向的判别效果较好。

Description

基于目标检测的物体运动方向识别方法
技术领域
本发明属于视觉目标跟踪技术领域，涉及一种基于目标检测的物体运动方向的识别方法。
背景技术
在计算机盛行、人工智能技术迅速发展的智能化时代，基于计算机视觉的目标跟踪技术的实现在各个行业发挥着越来越重要的作用。其主要思想就是在连续的视频序列中，建立与追踪物体的位置关系，以得到物体完整的运动轨迹，根据轨迹可迅速判断出物体的运动方向，在物体运动过程中，目标可能会呈现一些图像上的变化，比如物体形状的变化、遮挡严重的情况或光线亮度的变化等，这些都需要通过目标跟踪以及目标检测算法来解决。
现有的运动目标检测技术中，常见的有背景差分法，帧间差分法，光流法。背景差分法是一种对静止场景进行物体运动方向判断的方法，给定一张静止场景图片作为背景，在连续的视频序列中，将当前帧与背景相减，根据差分结果进行目标检测，虽然算法很简单，很容易实现，但其计算速度缓慢，而且易受光环境、噪声等外界条件影响。帧间差分法，是一种在连续视频序列中，通过对其相邻两帧之间的相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来获得运动目标轮廓，确定图像序列中有无物体运动，算法实现简单，对光环境等外界条件不敏感，但是该算法不能提取出对象的完整区域，只能提取出边界，同时依赖于选择的帧间时间间隔，时间间隔的选择对能否检测到目标有很大的影响。光流法，光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，首先给图像中每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场，如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的，当图像中有运动物体时，目标和背景存在着相对运动，从而检测出运动物体以及位置，但光流法的计算量较大，且需要特殊硬件支持，无法保证实时性和实用性。
发明内容
本发明的目的是提供一种基于目标检测的物体运动方向识别方法，解决了现有技术中存在的目标检测基础下，识别物品运动方向准确率不高的问题。
本发明采用的技术方案是，一种基于目标检测的物体运动方向的识别方法，根据物体的运动轨迹进行识别，按照以下步骤进行实施：
步骤1：将物体运动的连续帧经目标检测后的结果定义为t_1，t_2，t_3三个队列，定义当前帧的帧ID为i。其中t_1保存i-1帧图像的检测结果及待匹配的框信息，t_2保存i-1帧和i-2帧可信运动轨迹序列，t_3保存i-2帧前的可信运动轨迹序列。其中每一个运动轨迹存储的检测信息按照帧ID从大到小排列。
步骤:2：给定i帧图像的非空检测结果，遍历t_2和t_3，查找每个运动轨迹最新的物品位置，将该位置认为是待匹配位置，并加入到待匹配位置队列中
步骤3：首先将t_3与t_2的结果相加作为最新的t_3，然后将i帧图像检测到的框与t_3队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new1。之后计算t_new1中每一个运动轨迹的置信度prob；
步骤4：将t_1的结果赋值给t_2，然后将i帧图像检测到的框与t_2队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new2。之后计算t_new2中每一个运动轨迹的置信度prob；
步骤5：将i帧图像检测结果，按照分类概率的大小进行排序，并作为t_1的结果。
步骤6：将步骤2和步骤3得到的t_new1和t_new2相加作为t_new。
步骤7：遍历t_new，去除所有“不匹配”的运动轨迹，并且在删除“不匹配”的运动轨迹之前，如果该运动轨迹第二个检测信息不在待匹配队列中，将其加入到待匹配队列。
步骤8：经过步骤7之后，当前所剩余的运动轨迹序列中每个运动轨迹都是单一物品的运动位置序列，然后根据物品种类将运动轨迹序列划分为不同的子集合。
步骤9：遍历所有子集合。对于每个子集合进行“最小距离匹配”操作，直到该子集为空。“最短距离匹配”操作如下：
计算其中所有运动轨迹最新两个框中心点距离。认定距离最小的运动轨迹可信度最高，将其添加到确信队列中，并删除该运动轨迹以及所有与该运动轨迹在相同索引具有相同检测信息的运动轨迹。
步骤10：遍历待匹配目标队列，如果该框不在确信队列中，则认为该框本次未被匹配，否则认为该框已经被匹配。对于未被匹配的框，将其添加到t_1子集合中，等待下一帧继续进行匹配。对于t_1中的所有检测信息，删除i减去帧ID大于设定阈值的检测信息。
步骤11：分析所有的确信队列，其中每个确信队列中保存的都是同一物品在不同帧的检测结果，并且帧是按从小到大的顺序排序的。假定确信队列中最后两帧的帧ID为i-1和i，最后两帧检测框中心点y坐标分别为yi-1和yi，并假定若物品朝向y坐标增大的方向运动称为正向运动，否则为反向运动。则物体的运动方向可以通过比较确信队列中最后两帧检测框中心点的y坐标得到，如果yi-1>yi,说明物体朝向正向运动；如果yi-1＝yi,说明物体位置未发生变化；如果yi-1<yi，说明物体朝向反向运动，然后输出识别结果。
步骤2的具体步骤为：
首先根据现有的t_2和t_3，得到现有所有的运动轨迹，每个运动轨迹都是由同一物品在不同帧的位置信息组成的，取出每个运动轨迹中最新的位置信息，放入到待匹配队列中进行保存。该位置等待与下一帧检测结果进行匹配，从而找到该运动轨迹的下一帧运动位置。该位置称为待匹配位置。
置信度prob的计算公式为:
Figure BDA0002001615500000041
其中framei和framei-1分别为第i帧和i-1帧图片的帧序号，(cxi,cyi)和(cxi-1,cyi-1)分别是第i帧和i-1帧检测结果的框中心点信息。d为固定值。
所述步骤3的具体步骤是：
首先将t_3与t_2两个运动轨迹序列进行相加作为最新的t_3，此时t_3中运动轨迹的个数记为n_3。将i帧图像进行目标检测后得到的结果个数记为b_n。将i帧图片检测到的所有结果分别添加到t_3的所有目标轨迹中，则得到一个新的目标运动轨迹队列，即为t_new1,此序列中目标轨迹个数为n_3*b_n个。每个运动轨迹不仅仅只是包含物品的位置信息，还应该包括另一个值，该值可以代表该运动轨迹的可信度，称之为置信度。置信度的计算是对于运动轨迹中所有位置，从前到后，两两计算，并将所有结果相乘在一起。此置信度只是考虑位置信息，没有考虑是否为同一物品。并且每个运动轨迹保存的物品位置信息个数有阈值限制，超出阈值时，删去帧ID小的位置信息。
步骤7具体步骤为：
遍历步骤6得到的t_new中所有运动轨迹，判断其是否满足以下“不匹配”条件之一：
a.该运动轨迹的置信度小于预先设置的阈值；
b.该运动轨迹中，不同位置对应的物品不是同一类物品。
如果该运动轨迹满足以上任意一个条件，则从t_new中删除该运动轨迹。由于在加入i帧结果之前，该运动轨迹是正确的轨迹，因此直接删除该运动轨迹可能在某些情况下会导致将一个原正确的轨迹删除掉，因此保留该运动轨迹的次最新位置，认为此时该位置在此帧中未匹配。
步骤9的具体步骤为：
遍历步骤8得到的所有子集合，其中每个子集合都是同一类物品运动轨迹的集合。运动轨迹的中最新的两个位置距离越小，则认为该运动轨迹为正确的可能性越大，因此，首先找到距离最小的运动轨迹，将其添加到确信队列中，同时，由于物品的一个位置信息只能且仅属于一个运动轨迹，因此，遍历该子集合中剩余的运动轨迹，删除与该运动轨迹在相同的位置有相同位置信息的运动轨迹。然后再次查找该子集合中距离最小的运动轨迹，重复以上操作，直到该子集合为空，表示该子集合已经查找到了所有正确的运动轨迹，继续遍历其他子集合，直到所有子集合遍历结束。
步骤10的具体步骤为：
首先将步骤9得到的确信队列为添加了i帧的检测结果之后，得到的i帧确信正确的运动轨迹序列，记为t_right。然后遍历该帧目前得到的待匹配队列，如果待匹配信息已经在t_right中，认为该待匹配信息已经被匹配，则从待匹配队列中删去。对仍然未被匹配的位置信息，将其添加到t_1子集合中，与i帧的检测结果一起，等待下一帧进行匹配。可能有很多待匹配信息与当前帧相差超过设定的阈值，则认为这些匹配信息已经超时，不能与最新的物品进行匹配，直接删去。
本发明通过最短路径匹配模式，以及运动轨迹匹配的方式相结合，其有益效果主要体现在以下方面：
1)本发明的识别方法相比于现有方法而言，识别物品运动方向准确率更高，计算量相对较小，因此运行速度也有所提高，适用于各种运动距离，各种相邻帧间距的情况，适用性广泛。
2)本发明的识别方法对于多物品同时运动时方向的判断也有很好的效果，其中多物品包括多个相同物品，多个不同物品。
3)本发明的识别方法对于物品在目标检测效果不是特别好(即某些帧未能识别)时也有很好的效果，通过待匹配位置信息方式，等待后续帧结果进行匹配，也能很好的判断物品运动方向。
附图说明
图1是本发明方法中物体经过目标检测得到的检测框组成示意图；
图2是本发明中运动轨迹组成示意。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细说明。
一种基于目标检测的物体运动方向的识别方法，根据物体的运动轨迹进行识别，按照以下步骤进行实施：
步骤1：将物体运动的连续帧经目标检测后的检测框定义为t_1，t_2，t_3三个队列，定义当前帧的帧ID为i。其中t_1保存i-1帧图像的检测结果及待匹配的框信息，t_2保存i-1帧和i-2帧可信运动轨迹序列，t_3保存i-2帧前的可信运动轨迹序列。其中每一个运动轨迹存储的检测信息按照帧ID从大到小排列。
步骤:2：给定i帧图像的非空检测结果，遍历t_2和t_3，查找每个运动轨迹最新的物品位置，将该位置认为是待匹配位置，并加入到待匹配位置队列中
步骤3：首先将t_3与t_2的结果相加作为最新的t_3，然后将i帧图像检测到的框与t_3队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new1。之后计算t_new1中每一个运动轨迹的置信度prob；
步骤4：将t_1的结果赋值给t_2，然后将i帧图像检测到的框与t_2队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new2。之后计算t_new2中每一个运动轨迹的置信度prob；
步骤5：将i帧图像检测结果，按照分类概率的大小进行排序，并作为t_1的结果。
步骤6：将步骤2和步骤3得到的t_new1和t_new2相加作为t_new。
步骤7：遍历t_new，去除所有“不匹配”的运动轨迹，并且在删除“不匹配”的运动轨迹之前，如果该运动轨迹第二个检测信息不在待匹配队列中，将其加入到待匹配队列。
步骤8：经过步骤7之后，当前所剩余的运动轨迹序列中每个运动轨迹都是单一物品的运动位置序列，然后根据物品种类将运动轨迹序列划分为不同的子集合。
步骤9：遍历所有子集合。对于每个子集合进行“最小距离匹配”操作，直到该子集为空。“最短距离匹配”操作如下：
计算其中所有运动轨迹最新两个框中心点距离。认定距离最小的运动轨迹可信度最高，将其添加到确信队列中，并删除该运动轨迹以及所有与该运动轨迹在相同索引具有相同检测信息的运动轨迹。
步骤10：遍历待匹配目标队列，如果该框不在确信队列中，则认为该框本次未被匹配，否则认为该框已经被匹配。对于未被匹配的框，将其添加到t_1子集合中，等待下一帧继续进行匹配。对于t_1中的所有检测信息，删除i减去帧ID大于设定阈值的检测信息。
步骤11：分析所有的确信队列，其中每个确信队列中保存的都是同一物品在不同帧的检测结果，并且帧是按从小到大的顺序排序的。假定确信队列中最后两帧的帧ID为i-1和i，最后两帧检测框中心点y坐标分别为yi-1和yi，并假定若物品朝向y坐标增大的方向运动称为正向运动，否则为反向运动。则物体的运动方向可以通过比较确信队列中最后两帧检测框中心点的y坐标得到，如果yi-1>yi,说明物体朝向正向运动；如果yi-1＝yi,说明物体位置未发生变化；如果yi-1<yi，说明物体朝向反向运动，然后输出识别结果。
步骤2的具体步骤为：
首先根据现有的t_2和t_3，得到现有所有的运动轨迹，每个运动轨迹都是由同一物品在不同帧的位置信息组成的，取出每个运动轨迹中最新的位置信息，放入到待匹配队列中进行保存。该位置等待与下一帧检测结果进行匹配，从而找到该运动轨迹的下一帧运动位置。该位置称为待匹配位置。
置信度prob的计算公式为:
Figure BDA0002001615500000091
其中framei和framei-1分别为第i帧和i-1帧图片的帧序号，(cxi,cyi)和(cxi-1,cyi-1)分别是第i帧和i-1帧检测结果的框中心点信息。d为固定值。
所述步骤3的具体步骤是：
首先将t_3与t_2两个运动轨迹序列进行相加作为最新的t_3，此时t_3中运动轨迹的个数记为n_3。将i帧图像进行目标检测后得到的结果个数记为b_n。将i帧图片检测到的所有结果分别添加到t_3的所有目标轨迹中，则得到一个新的目标运动轨迹队列，即为t_new1,此序列中目标轨迹个数为n_3*b_n个。每个运动轨迹不仅仅只是包含物品的位置信息，还应该包括另一个值，该值可以代表该运动轨迹的可信度，称之为置信度。置信度的计算是对于运动轨迹中所有位置，从前到后，两两计算，并将所有结果相乘在一起。此置信度只是考虑位置信息，没有考虑是否为同一物品。并且每个运动轨迹保存的物品位置信息个数有阈值限制，超出阈值时，删去帧ID小的位置信息。
步骤7具体步骤为：
遍历步骤6得到的t_new中所有运动轨迹，判断其是否满足以下“不匹配”条件之一：
a.该运动轨迹的置信度小于预先设置的阈值；
b.该运动轨迹中，不同位置对应的物品不是同一类物品。
如果该运动轨迹满足以上任意一个条件，则从t_new中删除该运动轨迹。由于在加入i帧结果之前，该运动轨迹是正确的轨迹，因此直接删除该运动轨迹可能在某些情况下会导致将一个原正确的轨迹删除掉，因此保留该运动轨迹的次最新位置，认为此时该位置在此帧中未匹配。
步骤9的具体步骤为：
遍历步骤8得到的所有子集合，其中每个子集合都是同一类物品运动轨迹的集合。运动轨迹的中最新的两个位置距离越小，则认为该运动轨迹为正确的可能性越大，因此，首先找到距离最小的运动轨迹，将其添加到确信队列中，同时，由于物品的一个位置信息只能且仅属于一个运动轨迹，因此，遍历该子集合中剩余的运动轨迹，删除与该运动轨迹在相同的位置有相同位置信息的运动轨迹。然后再次查找该子集合中距离最小的运动轨迹，重复以上操作，直到该子集合为空，表示该子集合已经查找到了所有正确的运动轨迹，继续遍历其他子集合，直到所有子集合遍历结束。
步骤10的具体步骤为：
首先将步骤9得到的确信队列为添加了i帧的检测结果之后，得到的i帧确信正确的运动轨迹序列，记为t_right。然后遍历该帧目前得到的待匹配队列，如果待匹配信息已经在t_right中，认为该待匹配信息已经被匹配，则从待匹配队列中删去。对仍然未被匹配的位置信息，将其添加到t_1子集合中，与i帧的检测结果一起，等待下一帧进行匹配。可能有很多待匹配信息与当前帧相差超过设定的阈值，则认为这些匹配信息已经超时，不能与最新的物品进行匹配，直接删去。
对于物品运动方向的识别，一个关键点在于如何串联同一物品在不同帧之间的位置。本发明使用“运动轨迹”概念，“运动轨迹”即一个物品在不同帧之间的位置信息序列，通过帧ID从大到小的顺序进行排序。通过“运动轨迹”中保存的不同时刻的位置信息，即可对物品运动方向进行识别。由于同时检测到的物品可能有多个，本发明使用同一物品最短距离优先匹配方法，将此帧得到的物品检测信息与已有的运动轨迹进行匹配并筛选，从而得到物品正确的运动轨迹。
实施例
本实施例中，通过拍摄两组物品运动过程中的照片，其中包括单物品和多物品两种情况，其中每组照片中物品的运动方向都是随机的。在进行目标检测后，将结果输入到本发明对应的实现中，通过对比本发明实现识别到的结果，与物品真实的运动方向，查看本发明的实际效果。
如图1所示是本发明方法中物体经过目标检测得到的检测框组成示意，其中(x1,y1)为检测框左上角坐标，(x2,y2)为检测框右下角坐标，prob为物体在目标检测后得到的概率列表，i_frame为该物体所在的帧序号；
步骤1：将物体运动的连续帧经目标检测后的检测框定义为t_1，t_2，t_3三个队列，定义当前帧的帧ID为i。其中t_1保存i-1帧图像的检测结果及待匹配的框信息，t_2保存i-1帧和i-2帧可信运动轨迹序列，t_3保存i-2帧前的可信运动轨迹序列。其中每一个运动轨迹存储的检测信息按照帧ID从大到小排列。
步骤:2：给定i帧图像的非空检测结果，遍历t_2和t_3，查找每个运动轨迹最新的物品位置，将该位置认为是待匹配位置，并加入到待匹配位置队列中
步骤3：首先将t_3与t_2的结果相加作为最新的t_3，然后将i帧图像检测到的框与t_3队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new1。之后计算t_new1中每一个运动轨迹的置信度prob；
步骤4：将t_1的结果赋值给t_2，然后将i帧图像检测到的框与t_2队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new2。之后计算t_new2中每一个运动轨迹的置信度prob；
步骤5：将i帧图像检测结果，按照分类概率的大小进行排序，并作为t_1的结果。
步骤6：将步骤2和步骤3得到的t_new1和t_new2相加作为t_new。
步骤7：遍历t_new，去除所有“不匹配”的运动轨迹，并且在删除“不匹配”的运动轨迹之前，如果该运动轨迹第二个检测信息不在待匹配队列中，将其加入到待匹配队列。
步骤8：经过步骤7之后，当前所剩余的运动轨迹序列中每个运动轨迹都是单一物品的运动位置序列，然后根据物品种类将运动轨迹序列划分为不同的子集合。
步骤9：遍历所有子集合。对于每个子集合进行“最小距离匹配”操作，直到该子集为空。“最短距离匹配”操作如下：
计算其中所有运动轨迹最新两个框中心点距离。认定距离最小的运动轨迹可信度最高，将其添加到确信队列中，并删除该运动轨迹以及所有与该运动轨迹在相同索引具有相同检测信息的运动轨迹。
步骤10：遍历待匹配目标队列，如果该框不在确信队列中，则认为该框本次未被匹配，否则认为该框已经被匹配。对于未被匹配的框，将其添加到t_1子集合中，等待下一帧继续进行匹配。对于t_1中的所有检测信息，删除i减去帧ID大于设定阈值的检测信息。
步骤11：分析所有的确信队列，其中每个确信队列中保存的都是同一物品在不同帧的检测结果，并且帧是按从小到大的顺序排序的。假定确信队列中最后两帧的帧ID为i-1和i，最后两帧检测框中心点y坐标分别为yi-1和yi，并假定若物品朝向y坐标增大的方向运动称为正向运动，否则为反向运动。则物体的运动方向可以通过比较确信队列中最后两帧检测框中心点的y坐标得到，如果yi-1＞yi，说明物体朝向正向运动；如果yi-1＝yi，说明物体位置未发生变化；如果yi-1＜yi，说明物体朝向反向运动，然后输出识别结果。
如图2所示是本发明中运动轨迹组成示意，其中pos_1为物品位置信息，prob为运动轨迹确定度。
重复上述实验100次之后，所得到的实验结果如表1所示。其中对于单个物品测试时正确率为97％，多物品测试时，正确率为92％。多物品测试正确率下降的主要原因是多物品在运动时可能会有遮挡，导致目标检测未识别。从实验结果可知，本发明在实际应用时效果很好。
表1
总次数 正确次数 正确率
单个 100 97 97.00％
多个 100 92 92.00％
因此本发明的识别方法相比于现有方法而言，识别物品运动方向准确率更高，计算量相对较小，因此运行速度也有所提高，适用于各种运动距离，各种相邻帧间距的情况，适用性广泛；本发明的识别方法对于多物品同时运动时方向的判断也有很好的效果，其中多物品包括多个相同物品，多个不同物品；本发明的识别方法对于物品在目标检测效果不是特别好(即某些帧未能识别)时也有很好的效果，通过待匹配位置信息方式，等待后续帧结果进行匹配，也能很好的判断物品运动方向。

Claims (5)

1.一种基于目标检测的物体运动方向的识别方法，其特征在于，根据物体的运动轨迹进行识别，按照以下步骤进行实施：
步骤1：将物体运动的连续帧经目标检测后的检测框定义为t_1，t_2，t_3三个队列，定义当前帧的帧ID为i；其中t_1保存i-1帧图像的检测结果及待匹配的框信息，t_2保存i-1帧和i-2帧可信运动轨迹序列，t_3保存i-2帧前的可信运动轨迹序列；其中每一个运动轨迹存储的检测信息按照帧ID从大到小排列；
步骤:2：给定i帧图像的非空检测结果，遍历t_2和t_3，查找每个运动轨迹最新的物品位置，将该位置认为是待匹配位置，并加入到待匹配位置队列中；
步骤3：首先将t_3与t_2的结果相加作为最新的t_3，然后将i帧图像检测到的框与t_3队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new1；之后计算t_new1中每一个运动轨迹的置信度prob；
步骤4：将t_1的结果赋值给t_2，然后将i帧图像检测到的框与t_2队列中所有可信运动轨迹进行全排列生成新的运动轨迹序列，记为:t_new2；之后计算t_new2中每一个运动轨迹的置信度prob；
步骤5：将i-1帧图像检测结果，按照分类概率的大小进行排序，并作为t_1的结果；
步骤6：将步骤3和步骤4得到的t_new1和t_new2相加作为t_new；
步骤7：遍历t_new，去除所有“不匹配”的运动轨迹，并且在删除“不匹配”的运动轨迹之前，如果该运动轨迹次最新检测信息不在待匹配队列中，将其加入到待匹配队列；具体步骤为：
遍历步骤6得到的t_new中所有运动轨迹，判断其是否满足以下“不匹配”条件之一：
a.该运动轨迹的置信度小于预先设置的阈值；
b.该运动轨迹中，不同位置对应的物品不是同一类物品；
如果该运动轨迹满足以上任意一个条件，则从t_new中删除该运动轨迹；由于在加入i帧结果之前，该运动轨迹是正确的轨迹，因此直接删除该运动轨迹可能在某些情况下会导致将一个原正确的轨迹删除掉，因此保留该运动轨迹的次最新位置，认为此时该位置在此帧中未匹配；
步骤8：经过步骤7之后，当前所剩余的运动轨迹序列中每个运动轨迹都是单一物品的运动位置序列，然后根据物品种类将运动轨迹序列划分为不同的子集合；
步骤9：遍历所有子集合，对于每个子集合进行“最小距离匹配”操作，直到该子集为空；“最小距离匹配”操作如下：
计算其中所有运动轨迹最新两个框中心点距离，认定距离最小的运动轨迹可信度最高，将其添加到确信队列中，并删除该运动轨迹以及所有与该运动轨迹在相同索引具有相同检测信息的运动轨迹；
步骤10：遍历待匹配目标队列，如果该框不在确信队列中，则认为该框本次未被匹配，否则认为该框已经被匹配；对于未被匹配的框，将其添加到t_1子集合中，等待下一帧继续进行匹配；对于t_1中的所有检测信息，删除i减去帧ID大于设定阈值的检测信息；
步骤11：分析所有的确信队列，其中每个确信队列中保存的都是同一物品在不同帧的检测结果，并且帧是按从小到大的顺序排序的；假定确信队列中最后两帧的帧ID为i-1和i，最后两帧检测框中心点y坐标分别为yi-1和yi，并假定若物品朝向y坐标增大的方向运动称为正向运动，否则为反向运动；则物体的运动方向可以通过比较确信队列中最后两帧检测框中心点的y坐标得到，如果yi-1>yi,说明物体朝向反向运动；如果yi-1＝yi,说明物体位置未发生变化；如果yi-1<yi，说明物体朝向正向运动，然后输出识别结果。
2.根据权利要求1所述的一种基于目标检测的物体运动方向的识别方法，其特征在于，所述步骤2的具体步骤为：
首先根据现有的t_2和t_3，得到现有所有的运动轨迹，每个运动轨迹都是由同一物品在不同帧的位置信息组成的，取出每个运动轨迹中最新的位置信息，放入到待匹配队列中进行保存；该位置等待与下一帧检测结果进行匹配，从而找到该运动轨迹的下一帧运动位置，该位置称为待匹配位置。
3.根据权利要求1所述的一种基于目标检测的物体运动方向的识别方法，其特征在于，所述置信度prob的计算公式为:
Figure FDA0003254032450000031
其中framei和framei-1分别为第i帧和i-1帧图片的帧序号，(cxi,cyi)和(cxi-1,cyi-1)分别是第i帧和i-1帧检测结果的框中心点信息；d为固定值；
所述步骤3的具体步骤是：
首先将t_3与t_2两个运动轨迹序列进行相加作为最新的t_3，此时t_3中运动轨迹的个数记为n_3；将i帧图像进行目标检测后得到的结果个数记为b_n；将i帧图片检测到的所有结果分别添加到t_3的所有目标轨迹中，则得到一个新的目标运动轨迹队列，即为t_new1,此序列中目标轨迹个数为n_3*b_n个；每个运动轨迹不仅仅只是包含物品的位置信息，还应该包括另一个值，该值可以代表该运动轨迹的可信度，称之为置信度；置信度的计算是对于运动轨迹中所有位置，从前到后，两两计算，并将所有结果相乘在一起，此置信度只是考虑位置信息，没有考虑是否为同一物品，并且每个运动轨迹保存的物品位置信息个数有阈值限制，超出阈值时，删去帧ID小的位置信息。
4.根据权利要求1所述的一种基于目标检测的物体运动方向的识别方法，其特征在于，所述步骤9的具体步骤为：
遍历步骤8得到的所有子集合，其中每个子集合都是同一类物品运动轨迹的集合；运动轨迹的中最新的两个位置距离越小，则认为该运动轨迹为正确的可能性越大；因此，首先找到距离最小的运动轨迹，将其添加到确信队列中，同时，由于物品的一个位置信息只能且仅属于一个运动轨迹，因此，遍历该子集合中剩余的运动轨迹，删除与该运动轨迹在相同的位置有相同位置信息的运动轨迹；然后再次查找该子集合中距离最小的运动轨迹，重复以上操作，直到该子集合为空，表示该子集合已经查找到了所有正确的运动轨迹，继续遍历其他子集合，直到所有子集合遍历结束。
5.根据权利要求1所述的一种基于目标检测的物体运动方向的识别方法，其特征在于，所述步骤10的具体步骤为：
首先将步骤9得到的确信队列为添加了i帧的检测结果之后，得到的i帧确信正确的运动轨迹序列，记为t_right；然后遍历该帧目前得到的待匹配队列，如果待匹配信息已经在t_right中，认为该待匹配信息已经被匹配，则从待匹配队列中删去；对仍然未被匹配的位置信息，将其添加到t_1子集合中，与i帧的检测结果一起，等待下一帧进行匹配，可能有很多待匹配信息与当前帧相差超过设定的阈值，则认为这些匹配信息已经超时，不能与最新的物品进行匹配，直接删去。
CN201910214569.0A 2019-03-20 2019-03-20 基于目标检测的物体运动方向识别方法 Expired - Fee Related CN110070560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910214569.0A CN110070560B (zh) 2019-03-20 2019-03-20 基于目标检测的物体运动方向识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910214569.0A CN110070560B (zh) 2019-03-20 2019-03-20 基于目标检测的物体运动方向识别方法

Publications (2)

Publication Number Publication Date
CN110070560A CN110070560A (zh) 2019-07-30
CN110070560B true CN110070560B (zh) 2021-12-17

Family

ID=67366543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910214569.0A Expired - Fee Related CN110070560B (zh) 2019-03-20 2019-03-20 基于目标检测的物体运动方向识别方法

Country Status (1)

Country Link
CN (1) CN110070560B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929567B (zh) * 2019-10-17 2022-09-27 北京全路通信信号研究设计院集团有限公司 基于单目相机监控场景下目标的位置速度测量方法及系统
CN111428626B (zh) * 2020-03-23 2023-05-23 北京明略软件系统有限公司 一种移动物体的识别方法、装置、及存储介质
CN113642442B (zh) * 2021-08-06 2022-11-25 展讯通信（上海）有限公司 人脸检测方法及装置、计算机可读存储介质、终端
CN114005068A (zh) * 2021-11-08 2022-02-01 支付宝(杭州)信息技术有限公司 监测货物移动的方法及装置
CN114299112B (zh) * 2021-12-24 2023-01-13 萱闱(北京)生物科技有限公司 基于多目标的轨迹识别方法、装置、介质和计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354787A (zh) * 2008-08-18 2009-01-28 浙江大学 一种智能视觉监控检索中提取目标运动轨迹特征的方法
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机系统工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法
KR20150112169A (ko) * 2014-03-27 2015-10-07 한국전자통신연구원 제스처 인식 방법
EP3096263A1 (en) * 2015-05-12 2016-11-23 Ricoh Company, Ltd. Human body orientation recognition method and system based on two-lens camera
CN107248173A (zh) * 2017-06-08 2017-10-13 深圳市智美达科技股份有限公司 目标跟踪方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354787A (zh) * 2008-08-18 2009-01-28 浙江大学 一种智能视觉监控检索中提取目标运动轨迹特征的方法
CN102819764A (zh) * 2012-07-18 2012-12-12 郑州金惠计算机系统工程有限公司 一种适用于交通路口复杂场景下的多视角人流量统计方法
KR20150112169A (ko) * 2014-03-27 2015-10-07 한국전자통신연구원 제스처 인식 방법
EP3096263A1 (en) * 2015-05-12 2016-11-23 Ricoh Company, Ltd. Human body orientation recognition method and system based on two-lens camera
CN107248173A (zh) * 2017-06-08 2017-10-13 深圳市智美达科技股份有限公司 目标跟踪方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Total Variation Regularized RPCA for Irregularly Moving Object Detection Under Dynamic Background;Xiaochun Cao等;《IEEE TRANSACTIONS ON CYBERNETICS》;20160430;第1014-1026页 *
基于历史运动轨迹的自适应手势识别算法;毛礼建等;《杭州电子科技大学学报(自然科学版)》;20170930;第37卷(第5期);第26-32页 *

Also Published As

Publication number Publication date
CN110070560A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070560B (zh) 基于目标检测的物体运动方向识别方法
Javed et al. Tracking and object classification for automated surveillance
CN111881749B (zh) 基于rgb-d多模态数据的双向人流量统计方法
CN110796687B (zh) 天空背景红外成像多目标跟踪方法
Ren et al. Multi-camera video surveillance for real-time analysis and reconstruction of soccer games
Zhang et al. Visual tracking using Siamese convolutional neural network with region proposal and domain specific updating
CN115049954B (zh) 目标识别方法、装置、电子设备和介质
CN111160212A (zh) 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN111931571B (zh) 基于在线增强检测的视频文字目标追踪方法与电子设备
CN113537077A (zh) 基于特征池优化的标签多伯努利视频多目标跟踪方法
TWI729587B (zh) 物件定位系統及方法
Ge et al. Multi-target tracking based on Kalman filtering and optical flow histogram
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及系统
Xu et al. A unified neural network for object detection, multiple object tracking and vehicle re-identification
Keawboontan et al. Toward real-time uav multi-target tracking using joint detection and tracking
Denman et al. Adaptive optical flow for person tracking
Wang et al. Tracking objects through occlusions using improved Kalman filter
CN113313733A (zh) 基于共享卷积的分级无人机目标跟踪方法
CN111079527B (zh) 一种基于3d残差网络的镜头边界检测方法
CN117011341A (zh) 基于目标追踪的车辆轨迹检测方法及系统
Ma et al. Depth assisted occlusion handling in video object tracking
CN114820801A (zh) 一种空间目标检测方法
Poiesi et al. Detector-less ball localization using context and motion flow analysis
JP6539720B1 (ja) 画像処理装置
Tian et al. Pedestrian multi-target tracking based on YOLOv3

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220412

Address after: 212000 Wuli community industrial building, Qilidian street, Runzhou District, Zhenjiang City, Jiangsu Province

Patentee after: Zhenjiang Youtong Intelligent Technology Co.,Ltd.

Address before: 710048 No. 5 Jinhua South Road, Shaanxi, Xi'an

Patentee before: XI'AN University OF TECHNOLOGY

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211217

CF01 Termination of patent right due to non-payment of annual fee