CN113744302A - 动态目标行为预测方法和系统 - Google Patents

动态目标行为预测方法和系统 Download PDF

Info

Publication number
CN113744302A
CN113744302A CN202010462960.5A CN202010462960A CN113744302A CN 113744302 A CN113744302 A CN 113744302A CN 202010462960 A CN202010462960 A CN 202010462960A CN 113744302 A CN113744302 A CN 113744302A
Authority
CN
China
Prior art keywords
target
dynamic
tracking
behavior
predicting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010462960.5A
Other languages
English (en)
Other versions
CN113744302B (zh
Inventor
李洋帆
张志彦
徐轶轲
马力超
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Priority to CN202010462960.5A priority Critical patent/CN113744302B/zh
Publication of CN113744302A publication Critical patent/CN113744302A/zh
Application granted granted Critical
Publication of CN113744302B publication Critical patent/CN113744302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种动态目标行为预测方法和系统，属于预测技术领域，解决了现有技术中预测方法的实时性差、仅是单个目标的行为预测及其任务规划和分配的问题。动态目标行为预测方法包括：对动态目标进行实时检测；通过目标跟踪方法实现多目标跟踪；结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹；以及通过所述目标轨迹的切线方向预测动态目标的具体行为。实现了通过所述目标轨迹的切线方向能够预测动态目标的具体行为，从而能够避免交通事故的发生，并且能够更好的完成多目标搜索、围捕等任务。

Description

动态目标行为预测方法和系统
技术领域
本发明涉及预测技术领域，尤其涉及一种动态目标行为预测方法和系统。
背景技术
在计算机视觉中，目标检测是在图像和视频(即，一系列的图像)中扫描和搜寻目标，概括来说就是在一个场景中对目标进行定位和识别。
跟踪是一系列的检测。假设在交通录像中，想要检测一辆车或者一个人，使用录像不同时刻的快照来检测目标，例如，一辆车或一个人。然后通过检查目标是如何在录像不同的画面中移动，由此实现对目标的追踪。比如要计算目标的速度，就可以通过两帧图像中目标坐标的变化来计算目标移动距离，除以两帧画面的间隔时间。
行为预测是对识别出的期望动态目标，例如人或车的行为进行预测，可用于对突发情况进行预警，同时可将所得预测结果反馈给上层决策级，作为任务规划的输入，从而依据目标行为进行任务规划和分配。然而这种行为预测仅是单个目标的行为预测，因此进行单个目标的任务规划和分配。
现有的行为预测方法主要通过神经网络对目标姿态进行分类识别，从而预测其接下来的行为。这种方法需要采集大量样本用于训练模型，而且对于不同目标需要不同模型，不具备通用性。同时，由于神经网络庞大的计算量，在进行多目标行为预测时实时性较差。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种动态目标行为预测方法，用以解决现有预测方法的实时性差、仅是单个目标的行为预测及其任务规划和分配的问题。
一方面，本发明实施例提供了一种动态目标行为预测方法，包括：对动态目标进行实时检测；通过目标跟踪方法实现多目标跟踪；结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹；以及通过所述目标轨迹的切线方向预测动态目标的具体行为。
上述技术方案的有益效果如下：通过所述目标轨迹的切线方向能够预测动态目标的具体行为，从而能够避免交通事故的发生等。
基于上述方法的进一步改进，通过所述目标轨迹的切线方向预测动态目标行为进一步包括：对所述目标轨迹作切线；将所述切线延长以获得所述目标轨迹的切线延长线；以及结合地图信息，根据所述切线延长线与各目的地的距离最短的原则及所述切线方向，预测所述动态目标的具体行为。
基于上述方法的进一步改进，所述动态目标包括行驶车辆；以及预测所述动态目标的具体行为包括预测行驶车辆的突然转向和换道。
基于上述方法的进一步改进，预测所述动态目标的具体行为包括预测所述动态目标去往那个路口、去往那个房间或是否乘坐电梯。
基于上述方法的进一步改进，当所述动态目标包括多个动态目标时，进一步包括：将多个动态目标的坐标、运动方向和预测的多个动态目标的具体行为作为反馈提供给任务规划层；以及根据距离优先原则进行任务规划，其中，所述任务规划包括基于所述预测的多个动态目标行为以及所述距离最短原则，提前规划对所述多个动态目标的搜索、围捕或打击任务。
上述技术方案的有益效果如下：基于所述预测的多个动态目标行为以及所述距离最短原则能够提前规划对所述多个动态目标的抓捕或打击行动，从而提高系统协同完成任务的效率。
基于上述方法的进一步改进，对动态目标进行实时检测进一步包括：
将原图像划分为S×S个网格；每个网格需要预测5个目标框的内容，所述目标框的预测内容包括其四个点的坐标、目标概率和目标类别；以及对所述目标概率在一定阈值之上的目标框进行极大值抑制处理，得到最终的目标检测与识别结果。
基于上述方法的进一步改进，通过目标跟踪方法实现多目标跟踪进一步包括：通过过去帧中的实际目标区域，预测当前帧跟踪序号的可能出现的预测候补区域Tp_i；计算所述预测候补区域Tp_i和实际检测区域D_k的相似度；当所述相似度大于相似度阈值TIoU时，跟踪成功；当跟踪成功时，目标的跟踪帧数T_I＝+1；以及对于跟踪成功的目标，利用当前帧的目标检测结果更新跟踪序号列T。
基于上述方法的进一步改进，动态目标行为预测方法进一步包括：当所述相似度小于相似度阈值TIoU时，则跟踪失败；对于跟踪失败的目标，为当前帧的目标重新建立一个跟踪序号；当更新的所述跟踪序号列T中存在没有匹配的跟踪序号时，与所述没有匹配的跟踪序号相对应的丢失帧数+1；以及当所述丢失帧数大于最大丢失帧数Tlost时，直接删除对应的跟踪序号。
另一方面，本发明实施例提供了一种动态目标行为预测系统，包括：目标实时检测模型，用于对动态目标进行实时检测；目标跟踪模块，用于实现多目标跟踪；目标轨迹获取模块，用于结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹；以及预测模块，用于通过所述目标轨迹的切线方向预测动态目标的具体行为。
基于上述系统的进一步改进，所述预测模块还用于：对所述目标轨迹作切线；将所述切线延长以获得所述目标轨迹的切线延长线；以及结合地图信息，根据所述切线延长线与各目的地的距离最短的原则及所述切线方向，预测所述动态目标的具体行为。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、利用目标跟踪模块实现多目标跟踪，得到不同帧的动态目标信息，通过引入摄像头位姿，和连接不同帧的同一目标的坐标点得到地图坐标系下的目标运动轨迹；
2、通过做目标运动轨迹的切线方向预测运动方向，实现对突然转向行为的预测；
3、结合地图信息预测动态目标具体行为，并将目标坐标、运动方向和具体行为反馈给任务规划，提高系统协同完成任务的能力；以及
4、通过对多目标行为进行综合分析，可优化我方资源配置和任务分配，更好的完成多目标搜索、围捕等任务。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的动态目标行为预测方法的流程图；
图2为根据本发明实施例的目标实时检测目标检测的示意图；
图3为根据本发明实施例的目标轨迹的示意图；
图4为目标行为预测方案的工作原理图；
图5为目标轨迹和运动方向的示意图；以及
图6为根据本发明实施例的动态目标行为预测系统的框图。
附图标记：
602-目标实时检测模型；604-目标跟踪模块；606-目标轨迹获取模块；以及608-预测模块
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种动态目标行为预测方法，如图1所示。动态目标行为预测方法包括：步骤S102，对动态目标进行实时检测；步骤S104，通过目标跟踪方法实现多目标跟踪；步骤S106，结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹；以及步骤S108，通过目标轨迹的切线方向预测动态目标的具体行为。
与现有技术相比，本实施例提供的动态目标行为预测方法，通过所述目标轨迹的切线方向能够预测动态目标的具体行为，当将其应用于行驶车辆行为预测时，能够避免交通事故的发生等。
下文中，将参照图1至图3对动态目标行为预测方法进行详细描述。
动态目标行为预测方法包括步骤S102，对动态目标进行实时检测。参考图2，具体地，对动态目标进行实时检测进一步包括：将原图像划分为S×S个网格；每个网格需要预测5个目标框的内容，目标框的预测内容包括其四个点的坐标、目标概率和目标类别；以及对目标概率在一定阈值之上的目标框进行极大值抑制处理，得到最终的目标检测与识别结果。
对动态目标进行实时检测之后，进入步骤S104，通过目标跟踪方法实现多目标跟踪。具体地，通过目标跟踪方法实现多目标跟踪包括：通过过去帧中的实际目标区域，预测当前帧跟踪序号的可能出现的预测候补区域Tp_i；计算预测候补区域Tp_i和实际检测区域D_k的相似度；当相似度大于相似度阈值TIoU时，跟踪成功；当跟踪成功时，目标的跟踪帧数T_I＝+1；以及对于跟踪成功的目标，利用当前帧的目标检测结果更新跟踪序号列T。此外，通过目标跟踪方法实现多目标跟踪进一步包括：当相似度小于相似度阈值TIoU时，则跟踪失败；对于跟踪失败的目标，为当前帧的目标重新建立一个跟踪序号；当更新的跟踪序号列T中存在没有匹配的跟踪序号时，与没有匹配的跟踪序号相对应的丢失帧数+1；以及当丢失帧数大于最大丢失帧数Tlost时，直接删除对应的跟踪序号。
在实现多目标跟踪之后，进入步骤S106，结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹(参考图3)。
在获得目标轨迹之后，进入步骤S108，通过目标轨迹的切线方向预测动态目标的具体行为。具体地，通过目标轨迹的切线方向预测动态目标的具体行为进一步包括：对目标轨迹作切线；将切线延长以获得目标轨迹的切线延长线；以及结合地图信息，根据切线延长线与各目的地的距离最短的原则及切线方向，预测动态目标的具体行为。在实施例中，动态目标包括行驶车辆。当动态目标包括行驶车辆时，预测动态目标的具体行为包括预测行驶车辆的突然转向和换道。在另一实施例中，预测动态目标还可以是人，预测动态目标的具体行为包括预测动态目标去往那个路口、去往那个房间或是否乘坐电梯等。
当动态目标包括多个动态目标时，进一步包括：将多个动态目标的坐标、运动方向和预测的多个动态目标的具体行为作为反馈提供给任务规划层；以及根据距离优先原则进行任务规划，其中，任务规划包括基于预测的多个动态目标的具体行为以及距离最短原则，提前规划对多个动态目标的搜索、围捕或打击任务。具体地，结合地图信息预测动态目标具体行为，并将目标坐标、运动方向和具体行为反馈给任务规划，提高系统协同完成任务的能力。通过已知的多目标位置和运动方向，结合地图信息可对目标的具体行为进行预测，例如当目标位置靠近门边，运动方向指向门，可预测目标将开门进入。把这些信息反馈给上层规划单元，通过对多目标行为进行综合分析，可优化我方资源配置和任务分配，更好的完成多目标搜索、围捕等任务。
下文中，以具体实例的方式，对动态目标行为预测方法进行详细描述。
本申请的实现需要已知场景的地图信息和双目摄像头的位姿信息，其中，双目摄像头的位姿信息为双目摄像头在地图坐标系下的坐标和偏转角度。
双目摄像头是动态目标行为预测的基础设备，用于动态目标检测、跟踪以及定位。由于摄像头对动态目标的定位基于摄像头坐标系，结合摄像头在地图坐标系下的位姿信息，经过坐标转换，可得到动态目标在地图坐标系下的定位。然后综合地图信息，可对动态目标行为进行预测。
在图4中示出了该目标行为预测方案工作原理。参考图4，动态目标行为预测方法包括：
1、利用目标实时检测模型对动态目标进行实时检测。
目标实时检测的特点是速度快、精度高、可以同时检测到大尺寸的目标及小尺寸的目标。在充分考虑到计算量及检测精度的前提下，本发明采用目标实时检测的结构完成目标检测与识别。如图2所示：目标实时检测的原理包括：(1)将原图像分成SxS个网格，如果某个目标的中心落在这个网格中，则设定这个网格为该目标的对应网格。由于图像特征提取部分的网络模型设计原理，原图像的每一个网格均可以通过图像特征层中的一个特征点来表示；(2)每个网格(即图像特征层中的每个特征点)需要预测5个目标框，目标框的预测内容包括其四个点的坐标(4个值)、目标概率(1个值)和该目标的类别；以及(3)对目标概率在一定阈值之上的目标框进行极大值抑制处理，得到最终的目标检测与识别结果。
2、运用目标轨迹获取模块实现多目标跟踪。目标轨迹获取模块目标跟踪算法是将各帧的目标检测结果分别赋予跟踪序号的过程，在不同视频帧出现的同一目标需要赋予相同的跟踪序号。
初始输入，目标检测结果表示为D＝{1,........M}，跟踪序号列表示为T＝{1,........N}。阈值设定，设最大丢失帧数为Tlost(当目标由于遮挡等原因丢失后，跟踪序号仍然在一定帧数内保留)；相似度阈值为TIoU。根据容忍度和避免漏判来设置这两个参数，这是因为设置大了，容忍度提高，造成误判，设置小了，造成漏判。
具体地，目标轨迹获取步骤包括：
(1)通过过去帧中的实际目标区域,预测当前帧跟踪序号的可能出现的区域Tp_i；
(2)计算卡尔曼滤波器预测候补区域Tp_i和实际检测区域D_k的相似度；
(3)根据以下算法使用匈牙利算法将当前帧的目标检测结果分配给每个跟踪器分配给每个跟踪序号。如果目标检测区域与预测候补区域(或过去帧中实际目标区域)的相似度大于相似度阈值(TIoU)，则跟踪成功，该目标的跟踪帧数(T_I＝+1)；目标检测区域与预测候补区域的相似度小于相似度阈值(TIoU)，则跟踪失败。
(4)对于跟踪成功的目标，利用当前帧的目标检测结果更新跟踪序号列(T)；
(5)对于跟踪失败的目标，为当前帧的目标重新建立一个跟踪序号；
(6)对于T中没有匹配上的跟踪序号其丢失帧数+1，大于最大丢失帧数(Tlost)的跟踪序号直接删除；
结果输出：将更新后的跟踪序号列T输出。
3、结合双目摄像头的位姿信息给出各帧目标检测结果在地图坐标系下的坐标，然后将不同帧的同一目标点连接起来，得到目标的轨迹。参考图3，示出了不同帧的玩具汽车的轨迹。
4、做目标轨迹的切线得到目标运动的预测方向，如图5所示。将切线延长并结合地图信息，例如分叉口各路口坐标，依据延长线据各点距离最短的原则及切线方向，预测目标去往哪个路口。
本申请的技术方案具有以下有益效果
(1)行为预测结果输出动态目标在地图坐标系下的坐标和运动方向角度，可用于预测动态目标的突然转向行为，例如预测前方行驶车辆的突然转向和换道，从而进行预警，避免交通事故的发生。
(2)在系统协同完成某个任务的场景下，将行为预测结果结合地图信息综合考虑，依据目标坐标和方向判断出目标去往哪个路口，哪个房间，是否乘坐电梯等具体行为。把结果作为输入反馈给任务规划层级，根据多目标的行为，任务规划可参照距离优先等原则对系统进行任务分配并不断优化，提高系统协同完成任务的效率。
本发明的一个具体实施例，公开了一种动态目标行为预测系统。下文中，将参照图6，对动态目标行为预测系统进行详细描述。
参考图6，动态目标行为预测系统包括：目标实时检测模型602，用于对动态目标进行实时检测；目标跟踪模块604，用于实现多目标跟踪；目标轨迹获取模块606，用于结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹；以及预测模块608，用于通过目标轨迹的切线方向预测动态目标的具体行为。
具体地，预测模块608还用于：对目标轨迹作切线；将切线延长以获得目标轨迹的切线延长线；以及结合地图信息，根据切线延长线与各目的地的距离最短的原则及切线方向，预测动态目标的具体行为。
动态目标行为预测系统还包括多个其他模块。本文中，动态目标行为预测系统与动态目标行为预测方法相对应，因此为了避免赘述，没有对多个其他模块进行详细描述。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、利用目标跟踪模块实现多目标跟踪，得到不同帧的动态目标信息，通过引入摄像头位姿，和连接不同帧的同一目标的坐标点得到地图坐标系下的目标运动轨迹；
2、通过做目标运动轨迹的切线方向预测运动方向，实现对突然转向行为的预测；
3、结合地图信息预测动态目标具体行为，并将目标坐标、运动方向和具体行为反馈给任务规划，提高系统协同完成任务的能力；以及
4、通过对多目标行为进行综合分析，可优化我方资源配置和任务分配，更好的完成多目标搜索、围捕等任务。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种动态目标行为预测方法，其特征在于，包括：
对动态目标进行实时检测；
通过目标跟踪方法实现多目标跟踪；
结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹；以及
通过所述目标轨迹的切线方向预测动态目标的具体行为。
2.根据权利要求1所述的动态目标行为预测方法，其特征在于，通过所述目标轨迹的切线方向预测动态目标的具体行为进一步包括：
对所述目标轨迹作切线；
将所述切线延长以获得所述目标轨迹的切线延长线；以及
结合地图信息，根据所述切线延长线与各目的地的距离最短的原则及所述切线方向，预测所述动态目标的具体行为。
3.根据权利要求2所述的动态目标行为预测方法，其特征在于，
所述动态目标包括行驶车辆；以及
预测所述动态目标的具体行为包括预测行驶车辆的突然转向和换道。
4.根据权利要求2所述的动态目标行为预测方法，其特征在于，预测所述动态目标的具体行为包括预测所述动态目标去往那个路口、去往那个房间或是否乘坐电梯。
5.根据权利要求4所述的动态目标行为预测方法，其特征在于，当所述动态目标包括多个动态目标时，进一步包括：
将多个动态目标的坐标、运动方向和预测的多个动态目标的具体行为作为反馈提供给任务规划层；以及
根据距离优先原则进行任务规划，其中，所述任务规划包括基于所述预测的多个动态目标的具体行为以及所述距离最短原则，提前规划对所述多个动态目标的搜索、围捕或打击任务。
6.根据权利要求1所述的动态目标行为预测方法，其特征在于，对动态目标进行实时检测进一步包括：
将原图像划分为S×S个网格；
每个网格需要预测5个目标框的内容，所述目标框的预测内容包括其四个点的坐标、目标概率和目标类别；以及
对所述目标概率在一定阈值之上的目标框进行极大值抑制处理，得到最终的目标检测与识别结果。
7.根据权利要求1所述的动态目标行为预测方法，其特征在于，通过目标跟踪方法实现多目标跟踪进一步包括：
通过过去帧中的实际目标区域，预测当前帧跟踪序号的可能出现的预测候补区域Tp_i；
计算所述预测候补区域Tp_i和实际检测区域D_k的相似度；
当所述相似度大于相似度阈值TIoU时，跟踪成功；
当跟踪成功时，目标的跟踪帧数T_I＝+1；以及
对于跟踪成功的目标，利用当前帧的目标检测结果更新跟踪序号列T。
8.根据权利要求7所述的动态目标行为预测方法，其特征在于，进一步包括：
当所述相似度小于相似度阈值TIoU时，则跟踪失败；
对于跟踪失败的目标，为当前帧的目标重新建立一个跟踪序号；
当更新的所述跟踪序号列T中存在没有匹配的跟踪序号时，与所述没有匹配的跟踪序号相对应的丢失帧数+1；以及
当所述丢失帧数大于最大丢失帧数Tlost时，直接删除对应的跟踪序号。
9.一种动态目标行为预测系统，其特征在于，包括：
目标实时检测模型，用于对动态目标进行实时检测；
目标跟踪模块，用于实现多目标跟踪；
目标轨迹获取模块，用于结合双目摄像头的位姿信息确定各帧目标检测结果在地图坐标系下的坐标，并且连接不同帧的相同目标点以获得目标轨迹；以及
预测模块，用于通过所述目标轨迹的切线方向预测动态目标的具体行为。
10.根据权利要求9所述的动态目标行为预测系统，其特征在于，所述预测模块还用于：
对所述目标轨迹作切线；
将所述切线延长以获得所述目标轨迹的切线延长线；以及
结合地图信息，根据所述切线延长线与各目的地的距离最短的原则及所述切线方向，预测所述动态目标的具体行为。
CN202010462960.5A 2020-05-27 2020-05-27 动态目标行为预测方法和系统 Active CN113744302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010462960.5A CN113744302B (zh) 2020-05-27 2020-05-27 动态目标行为预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010462960.5A CN113744302B (zh) 2020-05-27 2020-05-27 动态目标行为预测方法和系统

Publications (2)

Publication Number Publication Date
CN113744302A true CN113744302A (zh) 2021-12-03
CN113744302B CN113744302B (zh) 2024-02-02

Family

ID=78723846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010462960.5A Active CN113744302B (zh) 2020-05-27 2020-05-27 动态目标行为预测方法和系统

Country Status (1)

Country Link
CN (1) CN113744302B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970936A (zh) * 2022-03-01 2022-08-30 江苏恒澄交科信息科技股份有限公司 一种用于内河循迹航行船舶的会遇时空预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558831A (zh) * 2018-11-27 2019-04-02 成都索贝数码科技股份有限公司 一种融合时空模型的跨摄像头行人定位方法
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN110736982A (zh) * 2019-10-28 2020-01-31 江苏集萃智能传感技术研究所有限公司 基于雷达监测的地下停车场车辆跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
CN109558831A (zh) * 2018-11-27 2019-04-02 成都索贝数码科技股份有限公司 一种融合时空模型的跨摄像头行人定位方法
CN110736982A (zh) * 2019-10-28 2020-01-31 江苏集萃智能传感技术研究所有限公司 基于雷达监测的地下停车场车辆跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗倩;王岩飞;: "雷达微弱目标检测的有效方法", 计算机工程与设计, no. 21 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970936A (zh) * 2022-03-01 2022-08-30 江苏恒澄交科信息科技股份有限公司 一种用于内河循迹航行船舶的会遇时空预测方法

Also Published As

Publication number Publication date
CN113744302B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN111429574B (zh) 基于三维点云和视觉融合的移动机器人定位方法和系统
Luo et al. Fast and furious: Real time end-to-end 3d detection, tracking and motion forecasting with a single convolutional net
Jana et al. YOLO based Detection and Classification of Objects in video records
CN113034548A (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统
CN112419368A (zh) 运动目标的轨迹跟踪方法、装置、设备及存储介质
CN112785628B (zh) 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN113483747A (zh) 基于具有墙角信息的语义地图改进amcl定位方法及机器人
Jadhav et al. Aerial multi-object tracking by detection using deep association networks
CN112465855B (zh) 客流统计方法、装置、存储介质及设备
CN112651994A (zh) 地面多目标跟踪方法
CN116403139A (zh) 一种基于目标检测的视觉跟踪定位方法
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
Liu et al. An attention fusion network for event-based vehicle object detection
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN114332163A (zh) 一种基于语义分割的高空抛物检测方法及系统
WO2020213099A1 (ja) オブジェクト検出・追跡装置、方法、およびプログラム記録媒体
Jiang et al. Surveillance from above: A detection-and-prediction based multiple target tracking method on aerial videos
CN113744302A (zh) 动态目标行为预测方法和系统
CN114169425A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
Jin et al. 3D multi-object tracking with boosting data association and improved trajectory management mechanism
CN115767424A (zh) 一种基于rss与csi融合的视频定位方法
Kim et al. Intelligent Risk-Identification Algorithm with Vision and 3D LiDAR Patterns at Damaged Buildings.
Liu et al. A lightweight lidar-camera sensing method of obstacles detection and classification for autonomous rail rapid transit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant