CN114882491B - 一种非机动车目标的跟踪方法、装置和电子设备 - Google Patents

一种非机动车目标的跟踪方法、装置和电子设备 Download PDF

Info

Publication number
CN114882491B
CN114882491B CN202210807483.0A CN202210807483A CN114882491B CN 114882491 B CN114882491 B CN 114882491B CN 202210807483 A CN202210807483 A CN 202210807483A CN 114882491 B CN114882491 B CN 114882491B
Authority
CN
China
Prior art keywords
target
head
shoulder
matching
tracking area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210807483.0A
Other languages
English (en)
Other versions
CN114882491A (zh
Inventor
汪志强
张朋
于晋川
蔡丹平
虞响
吴立
黄鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210807483.0A priority Critical patent/CN114882491B/zh
Publication of CN114882491A publication Critical patent/CN114882491A/zh
Application granted granted Critical
Publication of CN114882491B publication Critical patent/CN114882491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了一种非机动车目标的跟踪方法、装置和电子设备，该方法包括：针对当前帧图像，确定当前帧图像中各个目标的检测框信息；按照预设划分规则将当前帧图像划分为至少两个跟踪区域；根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式；针对每个跟踪区域，基于跟踪区域对应的匹配方式，将跟踪区域对应的当前帧图像中的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配；根据匹配成功的当前帧图像中跟踪区域内的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。用以提高非机动车目标跟踪的连续性、稳定性和准确性。

Description

一种非机动车目标的跟踪方法、装置和电子设备
技术领域
本申请涉及目标检测与定位技术领域，尤其涉及一种非机动车目标的跟踪方法、装置和电子设备。
背景技术
随着城市人口越来越密集，非机动车数量日益增加，对于非机动车的违反交通法规的行为也更加重视。
相关技术中，通常是依赖非机动车目标的检测结果进行前后帧的匹配。但是，目前城市非机动车道狭窄，在等红灯或者人群密集时，前后非机动车交叉，非机动车车牌和非机动车很容易被后面的车遮挡导致跟踪目标轨迹丢失，无法保持跟踪连续性，绿灯通行时前后距离拉开时车牌较小无法检测内容，难以与之前的目标对应，导致跟踪效果不好。
发明内容
本申请实施例提供一种非机动车目标的跟踪方法、装置和电子设备，用以提高非机动车目标跟踪的连续性、稳定性和准确性。
第一方面，本申请一实施例提供了一种非机动车目标的跟踪方法，包括：
针对当前帧图像，确定所述当前帧图像中各个目标的检测框信息；
按照预设划分规则将所述当前帧图像划分为至少两个跟踪区域；
根据所述跟踪区域中包括的检测框的类型，确定所述跟踪区域对应的匹配方式；
针对每个所述跟踪区域，基于所述跟踪区域对应的匹配方式，将所述当前帧图像中所述跟踪区域内的目标的检测框信息和上一帧图像中所述跟踪区域内的目标的检测框信息进行匹配；
根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
第二方面，本申请一实施例提供了一种非机动车目标的跟踪装置，包括：
目标检测模块，用于针对当前帧图像，确定所述当前帧图像中各个目标的检测框信息；
区域划分模块，用于按照预设划分规则将所述当前帧图像划分为至少两个跟踪区域；
匹配方式确定模块，用于根据所述跟踪区域中包括的检测框的类型，确定所述跟踪区域对应的匹配方式；
匹配模块，用于针对每个所述跟踪区域，基于所述跟踪区域对应的匹配方式，将所述当前帧图像中所述跟踪区域内的目标的检测框信息和上一帧图像中所述跟踪区域内的目标的检测框信息进行匹配；
跟踪模块，用于根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
第三方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
本申请实施例具备如下有益效果：
由于整个跟踪区域中的，不同位置的不同目标的遮挡情况不同，因此，将当前图像帧的跟踪区域划分为至少两个跟踪区域，再根据每个区域中包括的检测框的类型，确定每个跟踪区域对应的匹配方式。针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配；根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。这样，非机动车密集遮挡场景中利用多目标分区域跟踪，提高目标跟踪连续性、稳定性和准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种非机动车目标跟踪方法的应用场景示意图；
图2为本申请一实施例提供的一种非机动车目标的跟踪方法的流程示意图；
图3为本申请一实施例提供的一种跟踪区域划分的示意图；
图4为本申请一实施例提供的一种目标关联关系确定方法的流程示意图；
图5为本申请一实施例提供的一种非机动车目标的跟踪装置的结构示意图；
图6为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
交并比：在检测任务中，使用交并比（Intersection of Union，IoU）作为衡量指标，来描述两个框之间的重合度。
附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
在具体实践过程中，随着城市人口越来越密集，非机动车数量日益增加，对于非机动车的违反交通法规的行为也更加重视。相关技术中，通常是依赖非机动车目标的检测结果进行前后帧的匹配。但是，目前城市非机动车道狭窄，在等红灯或者人群密集时，前后非机动车交叉，非机动车车牌和非机动车很容易被后面的车遮挡导致跟踪目标轨迹丢失，无法保持跟踪连续性，绿灯通行时前后距离拉开时车牌较小无法检测内容，难以与之前的目标对应，导致跟踪效果不好。导致违反交通法规事件抓拍证据链不完整。
为此，本申请提供了一种非机动车目标的跟踪方法，该方法中，针对当前帧图像，提取其中的各个目标的检测框信息（包括人头目标、头肩目标、车体目标和车牌目标中的至少一个），再按照预设划分规则将当前帧图像划分为至少两个跟踪区域，进而可以根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式。这样，针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配。最后，根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。避免了由于遮挡或者等红灯的过程中，仅依赖非机动车车体单类别的检测造成的目标轨迹不连续情况的发生，维持了跟踪连续性，提高了目标跟踪效果。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参考图1，其为本申请实施例提供的非机动车目标跟踪方法的应用场景示意图。该场景中，密集遮挡情况下，非机动车车体和人体下半身完全遮挡，无法保证非机动车的检测稳定性的情况下，只依赖非机动车单类别的检测结果进行前后帧匹配已经难以维持目标的轨迹连续性。而如何维持非机动车骑手在被遮挡和等红灯的过程中的跟踪连续性，是后续判断目标是否违章的重要基础。
当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
下面结合图1所示的应用场景，对本申请实施例提供的技术方案进行说明。
参考图2，本申请实施例提供一种非机动车目标的跟踪方法，包括以下步骤：
S201、针对当前帧图像，确定当前帧图像中各个目标的检测框信息。
S202、按照预设划分规则将当前帧图像划分为至少两个跟踪区域。
S203、根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式。
S204、针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配。
S205、根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
本申请实施例，由于整个跟踪区域中的，不同位置的不同目标的遮挡情况不同，因此，将当前图像帧的跟踪区域划分为至少两个跟踪区域，再根据每个区域中包括的检测框的类型，确定每个跟踪区域对应的匹配方式。针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配；根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。这样，非机动车密集遮挡场景中利用多目标分区域跟踪，提高目标跟踪连续性、稳定性和准确性。
涉及到S201，在本申请实施例中，目标包括人头目标、头肩目标、车体目标和车牌目标中的至少一个。应用过程中，图像采集设备实施采集相应抓拍区域的视频流，对视频流进行解析，从视频流中获取图像帧数据，得到一帧一帧的图像。针对当前帧图像，应用设定检测算法确定当前帧图像中的各个目标的检测框信息，其中，设定检测算法比如是YOLO系列或者Faster RCNN（Region-based Convolutional Neural Networks，回归卷积神经网络）系列的基于深度学习目标检测算法，这样，应用设定检测算法得到当前帧图像的初始检测框信息，各个初始检测框信息包括了相应的检测框的类型和坐标信息。这样，得到各个目标的检测框信息，这里的各个目标的检测框信息为相应目标的坐标信息。
示例性的，
Figure 463024DEST_PATH_IMAGE001
表示车体目标集合，M表示车体目标的数 量，
Figure 708061DEST_PATH_IMAGE002
表示第i个车体目标；
Figure 487798DEST_PATH_IMAGE003
表示人头目标集合，N表示人头 目标的数量，
Figure 351849DEST_PATH_IMAGE004
为第j个人头目标；
Figure 494117DEST_PATH_IMAGE005
表示头肩目标集合，
Figure 785421DEST_PATH_IMAGE006
表示第k个头肩目标，O表示头肩目标的数量；
Figure 52455DEST_PATH_IMAGE007
表示车牌目 标集合，
Figure 579251DEST_PATH_IMAGE008
表示第t个车牌目标，T表示车牌目标的数量。另外，还可应用LSTM等CNN模型算 法进行车牌号检测，
Figure 343070DEST_PATH_IMAGE009
，其中，
Figure 539696DEST_PATH_IMAGE010
为车牌号集合，
Figure 621921DEST_PATH_IMAGE011
为第q个 车牌号，Q为车牌号的数量。
涉及到S202，为了提高匹配的针对性和准确度，按照预设划分规则将当前帧图像划分为至少两个跟踪区域。其中，预设划分规则比如是检测框的类型和数量。
参照图3，示出了一种跟踪区域划分的示意图，典型的非机动车交通抓拍场景使用的图像采集设备是固定枪击摄像头S，不需在画面中多次设定跟踪区域，将非机动车行驶区域划分为第一跟踪区域R1、第二跟踪区域R2和第三跟踪区域R3。比如，目标距离摄像头较近的区域，车牌像素多且清晰度高，这样车牌号的检测精度高，可以划定为第一跟踪区域；在人行道的区域，车体目标之间相互遮挡严重，只有处于最后不被遮挡的车牌目标才可以被检测到车牌信息，而骑手的头部和头肩是相对遮挡不严重的，因此，可以划定为第二跟踪区域；在过了红绿灯后的区域，得机动车距离摄像头较远，人头目标、头肩目标和车牌像素较少，不清晰。但是车体目标在行驶过程中相互遮挡的情况较轻，因此划定为第三跟踪区域。其中，第一跟踪区域、第二跟踪区域和第三跟踪区域与采集当前帧图像的图像采集设备的距离依次增大。
涉及到S203，根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式。
由于第一跟踪区域的车牌信息检测精度高的情况多，但是也可能存在车牌信息检测不到或者检测不准确的情况，因此，第一跟踪区域的匹配方式为基于车牌号进行匹配的匹配方式、基于人头目标或头肩目标进行匹配的匹配方式中的至少一个。比如，针对当前帧图像的第一跟踪区域中能检测到车牌号的每个车牌目标的检测框，应用基于车牌号进行匹配的方式；针对当前帧图像中的第一跟踪区域不能检测到车牌号（没有车牌或者车牌号检测结果未知）的每个车牌目标的检测框，应用基于人头目标或头肩目标进行匹配的匹配方式。
由于第二跟踪区域中，车体目标之间相互遮挡严重，骑手的头部和头肩是相对遮挡不严重的。因此匹配方式为基于人头目标或头肩目标进行匹配的匹配方式。
由于在第三跟踪区域中，车体目标在行驶过程中相互遮挡的情况较轻，非机动车距离摄像头较远，头部和头肩及车牌像素较少，目标不清晰，但是利用车体目标仍然可以进行正常的关联匹配。非机动车的检测稳定性和效果是可以保证的。因此，匹配方式为基于车体目标进行匹配的匹配方式。
需要说明的是，为了提高匹配精度，在确定跟踪区域对应的匹配方式时，应用的检测框可以是未被遮挡的检测框。
涉及到S204、针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配。
接下来对各个跟踪区域的匹配的方法和过程进行说明：
（1）针对第一跟踪区域：
在第一跟踪区域中，目标距离摄像头距离较近，车牌像素多且清晰度高，车牌检测的精度是有保证的。比如，第一跟踪区域中检测到了20个检测框，包括5个车牌目标检测框、5个车体目标检测框、5个人头目标检测框和5个头肩目标检测框。在这5个车牌目标检测框中，能检测到车牌号的车牌目标有3个，不能检测到车牌号的车牌目标有2个。
针对当前帧图像的第一跟踪区域中能检测到车牌号的每个车牌目标的检测框（上述示例中的3个车牌目标），采用第一优先级的匹配方式M1：
若车牌目标的检测框对应的车牌号中，与上一帧图像中的车牌号的最大相似子串同位置的相同字符的个数大于设定阈值，则确定车牌目标匹配成功。
示例性的，车牌号为浙A12345，在上一帧图像中的全部车牌号中进行匹配，如果存在这样一个车牌号，其与浙A12345最大相似子串同位置的相同字符的个数大于设定阈值，则确定二者匹配成功。
针对当前帧图像中的第一跟踪区域不能检测到车牌号的每个车牌目标的检测框（上述示例中的2个车牌目标），采用第二优先级的匹配方式M2：
示例性的，对于这两个不能检测到车牌号的车牌目标的检测框，先根据目标关联关系（人头目标A0、头肩目标B0、车体目标C0和车牌号D0属于同一个追踪目标），确定其分别关联的人头目标或头肩目标，再基于人头目标或头肩目标进行匹配的匹配方式，以将关联的人头目标或头肩目标的检测框信息与上一帧图像中的人头目标或头肩目标的检测框信息进行匹配。
其中，由于在第一跟踪区域和第二跟踪区域均用到基于人头目标或头肩目标的进行匹配方式，接下来对该匹配方式的过程进行说明，如果是针对第一跟踪区域，则相应跟踪区域是指第一跟踪区域，如果是针对第二跟踪区域，则相应跟踪区域是指第二跟踪区域。以其中的任意一个跟踪区域为例进行说明。
A、基于当前帧图像的相应跟踪区域的人头目标的检测框信息，和上一帧图像的相应跟踪区域的人头目标的检测框信息，确定至少一个人头交并比；基于当前帧图像的相应跟踪区域的头肩目标的检测框信息，和上一帧图像的相应跟踪区域的头肩目标的检测框信息，确定至少一个头肩交并比。
相应跟踪区域以第二跟踪区域为例，基于当前帧图像的人头目标或头肩目标的检测框信息，和上一帧图像的人头目标或头肩目标的检测框信息，确定人头交并比和确定头肩交并比的过程如下：
（1）确定人头交并比：
针对上一帧图像中的相应跟踪区域的每个人头目标，计算人头目标的检测框与当前帧图像中的相应跟踪区域的每个人头目标的检测框的交并比，得到对应的人头交并比。
具体的，比如上一帧图像中的第二跟踪区域有5个人头目标，上一帧图像中的第二跟踪区域有6个人头目标，则应用交并比的计算方式，可以得到30个人头交并比。
（2）确定头肩交并比：
针对上一帧图像中相应跟踪区域的每个头肩目标，计算头肩目标的检测框与当前帧图像中相应跟踪区域的每个头肩目标的检测框的交并比，得到对应的头肩交并比。
具体的，比如上一帧图像中的第二跟踪区域有7个头肩目标，上一帧图像中的第二跟踪区域有8个头肩目标，则应用交并比的计算方式，可以得到56个人头交并比。
B、根据预设头匹配权重、预设肩匹配权重、至少一个目标人头交并比和至少一个目标头肩交并比，确定第一匹配分数矩阵；其中，若当前跟踪区域内不存在人头目标，则目标人头交并比为第一基准交并比；若当前跟踪区域内不存在头肩目标，则目标头肩交并比为第二基准交并比；若当前跟踪区域内存在人头目标，则目标人头交并比为人头交并比；若当前跟踪区域内存在头肩目标，则目标人头交并比为头肩交并比。
首先说明在当前跟踪区域存在人头目标和头肩目标的情况下，第一匹配分数矩阵的确定过程：
（1）针对得到的每个人头交并比，根据目标关联关系，确定对应的头肩交并比。
由于目标关联关系为人头目标、头肩目标、车体目标和车牌号的对应关系，也就是说哪个人头目标、哪个头肩目标、哪个车体目标和哪个车牌号隶属于同一个非机动车。这样，针对得到的每个人头交并比，根据目标关联关系，可以确定该人头目标关联的头肩目标，获取该关联的头肩目标对应的头肩交并比。
（2）将每个人头交并比乘以预设人头匹配权重，与对应的头肩交并比乘以预设头 肩匹配权重求和，得到对应的人头匹配分数为
Figure 358933DEST_PATH_IMAGE012
。
其中，
Figure 475794DEST_PATH_IMAGE013
为人头交并比，也即，该种情况中的目标人头交并比；
Figure 108900DEST_PATH_IMAGE014
为头肩交并比，也即，这种情况中的目标头肩交并比。另外，预设人头匹配权重和预设头肩 匹配权重可以根据人头目标和头肩目标的检测结果适应性调整。
（3）基于各个人头匹配分数，以及对应的人头目标的标识和头肩目标的标识，确定第一匹配分数矩阵。
比如，确定第一匹配分数矩阵中各个元素时，将人头目标的标识作为矩阵中的元素的行号，将头肩目标的标识作为矩阵中的元素的列号。这样基于各个人头匹配分数确定第一匹配分数矩阵。
另外，在当前跟踪区域只存在人头目标或者只存在头肩目标的情况下，应用第一基准交并比和第二基准交并比来代替相应的人头交并比或头肩交并比。
没有人头目标时的情况：
Figure 944001DEST_PATH_IMAGE015
，其中，
Figure 45556DEST_PATH_IMAGE016
为不存在人头目标时的预先设定的第一基准交并比。
没有头肩目标时的情况：
Figure 689027DEST_PATH_IMAGE017
，其中，
Figure 493035DEST_PATH_IMAGE018
为不存在头肩目标时的预先设定的第二基准交并比。
C、若第一匹配分数矩阵满足第一设定匹配条件，则确定人头头肩匹配成功。
其中，第一设定匹配条件可以是大于预设阈值的元素的数量满足一定条件，则可以确定人头头肩匹配成功。
上述为第一跟踪区域或第二跟踪区域的基于人头目标或头肩目标进行匹配的过程。接下来对基于车体目标进行匹配的过程进行说明：
针对上一帧图像中的每个车体目标，计算车体目标的检测框与当前帧图像中的每个车体目标的检测框的交并比，得到对应的车体交并比；若根据车体交并比确定的第二匹配分数矩阵满足预设第二设定匹配条件，则确定车体匹配成功。其中，车体交并比的数量可以是一个，也可以是多个，这里不限定；另外，计算交并比的原理与前述人头目标或头肩目标计算交并比的原理相同，这里不赘述。
涉及到S205，如上，可以确定匹配成功的当前帧图像中的目标，则可以根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
具体实现方式如下：基于当前帧图像的目标关联关系，确定上一帧图像中的对应的目标的检测框信息中，与匹配成功的目标的检测框信息对应的上一帧目标；将匹配成功的目标的检测框信息替换上一帧目标的检测框信息。
在一个具体的例子中，当前帧图像比如是第U帧，则基于第U帧图像的目标关联关系，确定第U-1帧图像中的各个目标的检测框信息中，与匹配成功的目标Z的检测框对应的上一帧目标Z，这样，可以将第U帧图像中的目标Z的检测框信息替换第U-1帧图像中的目标Z的检测框信息。
另外，维持目标跟踪连续性需要保证在跟踪区域切换时，目标可以顺利的进行不同匹配方式的切换，因此跟踪目标需要准确的关联和维护每个非机动车目标的头部、头肩、车牌和车牌号。因此，在上述实施例中，应用到了目标关联关系。
在实际的应用过程中，目标关联关系是对当前帧图像中的各个目标执行如下操作后建立的，参照图4，对建立过程进行说明：
S401、将人头目标和头肩目标进行关联，得到人头头肩融合目标以及第一目标关联关系。
该步骤主要确定哪个人头目标和哪个头肩目标是属于同一个人的，具体的，根据各个人头目标检测框的坐标、各个头肩目标检测框的坐标和当前帧图像的宽度和高度，确定人头头肩关联系数。
示例性的，每个人头头肩关联系数
Figure 549853DEST_PATH_IMAGE019
计算过程如下：
Figure 97509DEST_PATH_IMAGE020
其中
Figure 595486DEST_PATH_IMAGE021
为人头目标的检测框的中心点横坐标，
Figure 695029DEST_PATH_IMAGE022
为人头目标的检测框的 中心点纵坐标；
Figure 973564DEST_PATH_IMAGE023
为头肩目标的检测框的中心点横坐标，
Figure 324911DEST_PATH_IMAGE024
为头肩目标的检 测框的中心点纵坐标；
Figure 677395DEST_PATH_IMAGE025
为当前帧图像的宽度；
Figure 449304DEST_PATH_IMAGE026
为当前帧图像的高度。
在得到多个人头头肩关联系数
Figure 480714DEST_PATH_IMAGE019
后，再根据预设匹配算法和人头头肩关联系数 确定人头头肩融合目标和第一目标关联关系。
其中，预设匹配算法可以是匈牙利算法，这样可以确定当前帧图像中的哪个人头目标和哪个头肩目标可以关联以及未关联的人头和未关联的头肩。第一目标关联关系可以是关联成功的人头目标和头肩目标的标识之间的关联关系。未关联的单独的目标（人头目标、头肩目标）作为独立的目标继续进行后续关联。
S402、将人头头肩融合目标、未关联的人头目标、未关联的头肩目标分别与车体目标进行关联，得到非机动车融合目标以及第二目标关联关系。
在将人头目标和头肩目标进行关联后，得到人头头肩融合目标、未关联的人头目标以及未关联的头肩目标，此时，将三者分别与车体目标进行关联。
具体的，根据各个参考目标的检测框的坐标、各个车体目标的检测框的坐标和当前帧图像帧的宽度和高度，确定非机动车关联系数。
示例性的，每个非机动车关联系数
Figure 901331DEST_PATH_IMAGE027
的计算过程如下：
Figure 577163DEST_PATH_IMAGE028
其中，
Figure 284088DEST_PATH_IMAGE029
为参考目标的检测框的中心点横坐标，
Figure 537214DEST_PATH_IMAGE030
为参考目标 的检测框的中心点纵坐标，
Figure 761522DEST_PATH_IMAGE031
为车体目标的检测框的上边界中心点横坐标，
Figure 291861DEST_PATH_IMAGE032
为车体目标的检测框的上边界中心点纵坐标。参考目标包括人头头肩融合目标、 未关联的人头目标、未关联的头肩目标中的任意一个。
在得到多个非机动车关联系数
Figure 402643DEST_PATH_IMAGE027
后，根据预设匹配算法和非机动车关联系数确 定非机动车融合目标和第二目标关联关系。
其中，预设匹配算法可以是匈牙利算法，这样可以确定当前帧图像中的哪个人头头肩目标、哪个人头目标和哪个头肩目标可以与车体目标关联。第二目标关联关系可以是关联成功的参考目标和车体目标的标识之间的关联关系。
由于单独的人头目标、单独的头肩目标和人头头肩融合目标和车牌目标没有明确的位置关系，因此，这三者不参与下一阶段的关联。与车体目标关联成功的目标作为一个整体继续与车牌目标进行关联。
S403、将非机动车融合目标和车牌目标进行关联，得到整体融合目标和第三目标关联关系。
非机动车融合目标包括人头目标与车体目标的融合、头肩目标与车体目标的融合、人头头肩融合目标与车体目标的融合。
具体的，根据各个非机动车融合目标检测框的坐标、各个车牌目标的检测框坐标和当前帧图像的宽度和高度，确定整体融合系数。
示例性的，每个整体融合系数
Figure 815170DEST_PATH_IMAGE033
的计算过程如下：
Figure 171065DEST_PATH_IMAGE034
其中
Figure 821489DEST_PATH_IMAGE035
为车体目标的检测框的下边界的中心点的横坐标，
Figure 339058DEST_PATH_IMAGE036
为车体 目标的检测框的下边界的中心点的纵坐标，
Figure 238881DEST_PATH_IMAGE037
为车牌目标的检测框的中心点的横坐 标，
Figure 273833DEST_PATH_IMAGE038
为车牌目标的检测框的中心点的纵坐标。
在得到多个整体融合系数
Figure 903397DEST_PATH_IMAGE033
后，根据预设匹配算法和整体融合确定整体融合目 标和第三目标关联关系。
其中，预设匹配算法可以是匈牙利算法，这样可以确定当前帧图像中的哪个非机动车融合目标可以与车牌目标关联。第三目标关联关系可以是关联成功的非机动车融合目标和车牌目标的标识之间的关联关系。
S404、根据第一目标关联关系、第二目标关联关系和第三目标关联关系，建立目标关联关系。
如上，基于各个目标的标识，根据第一目标关联关系、第二目标关联关系和第三目标关联关系，确定目标关联关系，比如，人头目标A1、头肩目标B1、车体目标C1和车牌目标D1属于同一个非机动车目标，是一组关联关系。
上述实施例，实现了从人体部位（人头目标、头肩目标）到非机动车体，然后再到车牌的联系，可以利用跟踪目标内缓存的关联信息（目标关联关系）进行跟踪目标的切换。因此，可以保持目标在密集遮挡场景中的跟踪稳定性，稳定准确的目标跟踪轨迹是非机动车违反交通法规行为的重要依据之一。
如图5所示，基于与上述非机动车目标的跟踪方法相同的发明构思，本申请实施例还提供了一种非机动车目标的跟踪装置，包括目标检测模块51、区域划分模块52、匹配方式确定模块53、匹配模块54和跟踪模块55。
其中，目标检测模块51，用于针对当前帧图像，确定当前帧图像中各个目标的检测框信息；
区域划分模块52，用于按照预设划分规则将当前帧图像划分为至少两个跟踪区域；
匹配方式确定模块53，用于根据跟踪区域中包括的检测框的类型，确定跟踪区域对应的匹配方式；
匹配模块54，用于针对每个跟踪区域，基于跟踪区域对应的匹配方式，将当前帧图像中跟踪区域内的目标的检测框信息和上一帧图像中跟踪区域内的目标的检测框信息进行匹配；
跟踪模块55，用于根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪。
在一些示例性的实施方式中，跟踪区域的数量包括第一跟踪区域、第二跟踪区域和第三跟踪区域，第一跟踪区域、第二跟踪区域和第三跟踪区域与采集当前帧图像的图像采集设备的距离依次增大：
第一跟踪区域的匹配方式为基于车牌号进行匹配的匹配方式、基于人头目标或头肩目标进行匹配的匹配方式中的至少一个；
第二跟踪区域的匹配方式为基于人头目标或头肩目标进行匹配的匹配方式；
第三跟踪区域的匹配方式为基于车体目标进行匹配的匹配方式。
在一些示例性的实施方式中，匹配模块54具体用于：
针对当前帧图像的第一跟踪区域中能检测到车牌号的每个车牌目标的检测框，若车牌目标的检测框对应的车牌号中，与上一帧图像中的车牌号的最大相似子串同位置的相同字符的个数大于设定阈值，则确定车牌目标匹配成功；
针对当前帧图像中的第一跟踪区域不能检测到车牌号的每个车牌目标的检测框，根据目标关联关系，确定车牌目标检测框关联的人头目标和头肩目标；基于人头目标或头肩目标进行匹配的匹配方式，以将关联的人头目标或头肩目标的检测框信息与上一帧图像中的人头目标或头肩目标的检测框信息进行匹配。
在一些示例性的实施方式中，匹配模块54具体用于：
基于当前帧图像的相应跟踪区域的人头目标的检测框信息，和上一帧图像的相应跟踪区域的人头目标的检测框信息，确定至少一个人头交并比；基于当前帧图像的相应跟踪区域的头肩目标的检测框信息，和上一帧图像的相应跟踪区域的头肩目标的检测框信息，确定至少一个头肩交并比；
根据预设头匹配权重、预设肩匹配权重、至少一个目标人头交并比和至少一个目标头肩交并比，确定第一匹配分数矩阵；其中，若当前跟踪区域内不存在人头目标，则目标人头交并比为第一基准交并比；若当前跟踪区域内不存在头肩目标，则目标头肩交并比为第二基准交并比；若当前跟踪区域内存在人头目标，则目标人头交并比为人头交并比；若当前跟踪区域内存在头肩目标，则目标人头交并比为头肩交并比；
若第一匹配分数矩阵满足第一设定匹配条件，则确定人头头肩匹配成功。
在一些示例性的实施方式中，还包括匹配分数矩阵确定模块，用于在当前跟踪区域存在人头目标和头肩目标时，通过如下方式确定第一匹配分数矩阵：
针对得到的每个人头交并比，根据目标关联关系，确定对应的头肩交并比；
将每个人头交并比乘以预设人头匹配权重，与对应的头肩交并比乘以预设头肩匹配权重求和，得到对应的人头匹配分数；
基于各个人头匹配分数，以及对应的人头目标的标识和头肩目标的标识，确定第一匹配分数矩阵。
在一些示例性的实施方式中，匹配模块54具体用于：
针对上一帧图像中的每个车体目标，计算车体目标的检测框与当前帧图像中的每个车体目标的检测框的交并比，得到对应的车体交并比；
若根据车体交并比确定的第二匹配分数矩阵满足预设第二设定匹配条件，则确定车体匹配成功。
在一些示例性的实施方式中，还包括关联关系确定模块，用于对当前帧图像中的各个目标执行如下操作后建立目标关联关系：
将人头目标和头肩目标进行关联，得到人头头肩融合目标以及第一目标关联关系；
将人头头肩融合目标、未关联的人头目标、未关联的头肩目标分别与车体目标进行关联，得到非机动车融合目标以及第二目标关联关系；
将非机动车融合目标和车牌目标进行关联，得到整体融合目标和第三目标关联关系；
根据第一目标关联关系、第二目标关联关系和第三目标关联关系，建立目标关联关系。
在一些示例性的实施方式中，关联关系确定模块具体用于：
根据各个人头目标检测框的坐标、各个头肩目标检测框的坐标和当前帧图像的宽度和高度，确定人头头肩关联系数；
根据预设匹配算法和人头头肩关联系数确定人头头肩融合目标和第一目标关联关系。
在一些示例性的实施方式中，关联关系确定模块具体用于：
根据各个参考目标的检测框的坐标、各个车体目标的检测框的坐标和当前帧图像帧的宽度和高度，确定非机动车关联系数；其中，参考目标包括人头头肩融合目标、未关联的人头目标、未关联的头肩目标中的任意一个；
根据预设匹配算法和非机动车关联系数确定非机动车融合目标和第二目标关联关系。
在一些示例性的实施方式中，关联关系确定模块具体用于：
根据各个非机动车融合目标检测框的坐标、各个车牌目标的检测框坐标和当前帧图像的宽度和高度，确定整体融合系数；
根据预设匹配算法和整体融合确定整体融合目标和第三目标关联关系。
在一些示例性的实施方式中，跟踪模块具体用于：
基于当前帧图像的目标关联关系，确定上一帧图像中的对应的目标的检测框信息中，与匹配成功的目标的检测框信息对应的上一帧目标；
将匹配成功的目标的检测框信息替换上一帧目标的检测框信息。
本申请实施例提的非机动车目标的跟踪装置与上述非机动车目标的跟踪方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
基于与上述非机动车目标的跟踪方法相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理（Personal Digital Assistant，PDA）、服务器等。如图6所示，该电子设备可以包括处理器601和存储器602。
处理器601可以是通用处理器，例如中央处理器（CPU）、数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器（Random Access Memory，RAM）、静态随机访问存储器（Static Random Access Memory，SRAM）、可编程只读存储器（Programmable Read Only Memory，PROM）、只读存储器（Read Only Memory，ROM）、带电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM）、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器（RAM，Random Access Memory）、磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NAND FLASH）、固态硬盘（SSD））等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器（RAM，Random Access Memory）、磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NAND FLASH）、固态硬盘（SSD））等各种可以存储程序代码的介质。
以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请实施例的方法，不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (13)

1.一种非机动车目标的跟踪方法，其特征在于，包括：
针对当前帧图像，确定所述当前帧图像中各个目标的检测框信息；
按照预设划分规则将所述当前帧图像划分为至少两个跟踪区域；
根据所述跟踪区域中包括的检测框的类型，确定所述跟踪区域对应的匹配方式；
针对每个所述跟踪区域，基于所述跟踪区域对应的匹配方式，将所述当前帧图像中所述跟踪区域内的目标的检测框信息和上一帧图像中所述跟踪区域内的目标的检测框信息进行匹配；
根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪；
若所述跟踪区域的匹配方式为基于人头目标或头肩目标进行匹配的匹配方式，则通过如下方式实现：
将每个人头交并比乘以预设人头匹配权重，与对应的头肩交并比乘以预设头肩匹配权重求和，得到对应的人头匹配分数；
基于各个人头匹配分数，将对应的人头目标的标识和头肩目标的标识分别作为第一匹配分数矩阵的行和列，确定第一匹配分数矩阵；
若所述第一匹配分数矩阵满足第一设定匹配条件，则确定人头头肩匹配成功；
在基于人头目标或头肩目标进行匹配的过程中，通过如下方式确定人头交并比或头肩交并比：
基于当前帧图像的相应跟踪区域的人头目标的检测框信息，和上一帧图像的相应跟踪区域的人头目标的检测框信息，确定至少一个人头交并比；基于当前帧图像的相应跟踪区域的头肩目标的检测框信息，和上一帧图像的相应跟踪区域的头肩目标的检测框信息，确定至少一个头肩交并比。
2.根据权利要求1所述的方法，其特征在于，所述跟踪区域的数量包括第一跟踪区域、第二跟踪区域和第三跟踪区域，所述第一跟踪区域、所述第二跟踪区域和所述第三跟踪区域与采集所述当前帧图像的图像采集设备的距离依次增大；
所述第一跟踪区域的匹配方式为基于车牌号进行匹配的匹配方式、基于人头目标或头肩目标进行匹配的匹配方式中的至少一个；
所述第二跟踪区域的匹配方式为基于人头目标或头肩目标进行匹配的匹配方式；
所述第三跟踪区域的匹配方式为基于车体目标进行匹配的匹配方式。
3.根据权利要求1所述的方法，其特征在于，所述将所述当前帧图像中所述跟踪区域内的目标的检测框信息和上一帧图像中所述跟踪区域内的目标的检测框信息进行匹配，包括：
针对当前帧图像的第一跟踪区域中能检测到车牌号的每个车牌目标的检测框，若所述车牌目标的检测框对应的车牌号中，与上一帧图像中的车牌号的最大相似子串同位置的相同字符的个数大于设定阈值，则确定车牌目标匹配成功；
针对当前帧图像中的第一跟踪区域不能检测到车牌号的每个车牌目标的检测框，根据所述目标关联关系，确定所述车牌目标检测框关联的人头目标和头肩目标；基于人头目标或头肩目标进行匹配的匹配方式，以将所述关联的人头目标或头肩目标的检测框信息与上一帧图像中的人头目标或头肩目标的检测框信息进行匹配。
4.根据权利要求1所述的方法，其特征在于，还包括：
若当前跟踪区域存在人头目标和头肩目标，则针对每个人头交并比，根据目标关联关系，确定对应的头肩交并比；
若当前跟踪区域只存在头肩目标，则将第一基准交并比代替相应的头肩交并比；
若当前跟踪区域只存在人头目标，则将第二基准交并比代替相应的头肩交并比。
5.根据权利要求2所述的方法，其特征在于，所述基于车体目标进行匹配，包括：
针对上一帧图像中的每个车体目标，计算所述车体目标的检测框与当前帧图像中的每个车体目标的检测框的交并比，得到对应的车体交并比；
若根据所述车体交并比确定的第二匹配分数矩阵满足预设第二设定匹配条件，则确定车体匹配成功。
6.根据权利要求3或4所述的方法，其特征在于，所述目标关联关系是对当前帧图像中的各个目标执行如下操作后建立的：
将人头目标和头肩目标进行关联，得到人头头肩融合目标以及第一目标关联关系；
将人头头肩融合目标、未关联的人头目标、未关联的头肩目标分别与车体目标进行关联，得到非机动车融合目标以及第二目标关联关系；
将所述非机动车融合目标和车牌目标进行关联，得到整体融合目标和第三目标关联关系；
根据所述第一目标关联关系、所述第二目标关联关系和所述第三目标关联关系，建立目标关联关系。
7.根据权利要求6所述的方法，其特征在于，所述将人头目标和头肩目标进行关联，得到人头头肩融合目标和所述第一目标关联关系，包括：
根据各个人头目标检测框的坐标、各个头肩目标检测框的坐标和当前帧图像的宽度和高度，确定人头头肩关联系数；
根据预设匹配算法和所述人头头肩关联系数确定人头头肩融合目标和所述第一目标关联关系。
8.根据权利要求6所述的方法，其特征在于，将人头头肩融合目标、未关联的人头目标、未关联的头肩目标分别与车体目标进行关联，得到非机动车融合目标和所述第二目标关联关系，包括：
根据各个参考目标的检测框的坐标、各个车体目标的检测框的坐标和当前帧图像帧的宽度和高度，确定非机动车关联系数；其中，所述参考目标包括所述人头头肩融合目标、未关联的人头目标、未关联的头肩目标中的任意一个；
根据预设匹配算法和所述非机动车关联系数确定非机动车融合目标和所述第二目标关联关系。
9.根据权利要求6所述的方法，其特征在于，所述将所述非机动车融合目标和车牌目标进行关联，得到整体融合目标和所述第三目标关联关系，包括：
根据各个非机动车融合目标检测框的坐标、各个车牌目标的检测框坐标和当前帧图像的宽度和高度，确定整体融合系数；
根据预设匹配算法和所述整体融合确定整体融合目标和所述第三目标关联关系。
10.根据权利要求1~4或7~9任一项所述的方法，其特征在于，所述根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，包括：
基于当前帧图像的目标关联关系，确定所述上一帧图像中的对应的目标的检测框信息中，与所述匹配成功的目标的检测框信息对应的上一帧目标；
将所述匹配成功的目标的检测框信息替换所述上一帧目标的检测框信息。
11.一种非机动车目标的跟踪装置，其特征在于，包括：
目标检测模块，用于针对当前帧图像，确定所述当前帧图像中各个目标的检测框信息；
区域划分模块，用于按照预设划分规则将所述当前帧图像划分为至少两个跟踪区域；
匹配方式确定模块，用于根据所述跟踪区域中包括的检测框的类型，确定所述跟踪区域对应的匹配方式；
匹配模块，用于针对每个所述跟踪区域，基于所述跟踪区域对应的匹配方式，将所述当前帧图像中所述跟踪区域内的目标的检测框信息和上一帧图像中所述跟踪区域内的目标的检测框信息进行匹配；
跟踪模块，用于根据匹配成功的当前帧图像中的目标的检测框信息和当前帧图像的目标关联关系更新上一帧图像中的对应的目标的检测框信息，以进行目标跟踪；
若所述跟踪区域的匹配方式为基于人头目标或头肩目标进行匹配的匹配方式，则所述匹配模块具体用于：
将每个人头交并比乘以预设人头匹配权重，与对应的头肩交并比乘以预设头肩匹配权重求和，得到对应的人头匹配分数；
基于各个人头匹配分数，将对应的人头目标的标识和头肩目标的标识分别作为第一匹配分数矩阵的行和列，确定第一匹配分数矩阵；
若所述第一匹配分数矩阵满足第一设定匹配条件，则确定人头头肩匹配成功；
在基于人头目标或头肩目标进行匹配的过程中，通过如下方式确定人头交并比或头肩交并比：
基于当前帧图像的相应跟踪区域的人头目标的检测框信息，和上一帧图像的相应跟踪区域的人头目标的检测框信息，确定至少一个人头交并比；基于当前帧图像的相应跟踪区域的头肩目标的检测框信息，和上一帧图像的相应跟踪区域的头肩目标的检测框信息，确定至少一个头肩交并比。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至10任一项所述方法的步骤。
CN202210807483.0A 2022-07-11 2022-07-11 一种非机动车目标的跟踪方法、装置和电子设备 Active CN114882491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210807483.0A CN114882491B (zh) 2022-07-11 2022-07-11 一种非机动车目标的跟踪方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210807483.0A CN114882491B (zh) 2022-07-11 2022-07-11 一种非机动车目标的跟踪方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN114882491A CN114882491A (zh) 2022-08-09
CN114882491B true CN114882491B (zh) 2022-10-25

Family

ID=82683620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210807483.0A Active CN114882491B (zh) 2022-07-11 2022-07-11 一种非机动车目标的跟踪方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114882491B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908498B (zh) * 2022-12-27 2024-01-02 清华大学 一种基于类别最优匹配的多目标跟踪方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203513A (zh) * 2016-07-08 2016-12-07 浙江工业大学 一种基于行人头肩多目标检测及跟踪的统计方法
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
CN113870305A (zh) * 2021-08-24 2021-12-31 浙江大华技术股份有限公司 目标跟踪方法、装置、电子设备、计算机可读存储介质
CN113989333A (zh) * 2021-11-29 2022-01-28 之江实验室 一种基于人脸和头肩信息的行人跟踪的方法
CN114219829A (zh) * 2021-11-05 2022-03-22 浙江大华技术股份有限公司 车辆跟踪方法、计算机设备及存储装置
WO2022095907A1 (en) * 2020-11-03 2022-05-12 Zhejiang Dahua Technology Co., Ltd. Associating method for detecting blocks of multiple parts of human body, apparatus, electronic device, and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161320B (zh) * 2019-12-30 2023-05-19 浙江大华技术股份有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读介质
CN111428607B (zh) * 2020-03-19 2023-04-28 浙江大华技术股份有限公司 一种追踪方法、装置及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203513A (zh) * 2016-07-08 2016-12-07 浙江工业大学 一种基于行人头肩多目标检测及跟踪的统计方法
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
WO2022095907A1 (en) * 2020-11-03 2022-05-12 Zhejiang Dahua Technology Co., Ltd. Associating method for detecting blocks of multiple parts of human body, apparatus, electronic device, and storage medium
CN113870305A (zh) * 2021-08-24 2021-12-31 浙江大华技术股份有限公司 目标跟踪方法、装置、电子设备、计算机可读存储介质
CN114219829A (zh) * 2021-11-05 2022-03-22 浙江大华技术股份有限公司 车辆跟踪方法、计算机设备及存储装置
CN113989333A (zh) * 2021-11-29 2022-01-28 之江实验室 一种基于人脸和头肩信息的行人跟踪的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《People Counting based on Head and Shoulder Information》;Jong YK et al;《IEEE》;20170102;全文 *
《基于热点区域定义的人流量统计系统关键技术研究》;丰敏强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415(第2018年第04期);全文 *

Also Published As

Publication number Publication date
CN114882491A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN109816701B (zh) 一种目标跟踪方法及装置、存储介质
CN111554105B (zh) 一种复杂交通路口的智能流量识别与统计方法
TWI609807B (zh) 影像評估方法以及其電子裝置
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
CN114879695A (zh) 轨迹匹配方法、装置、设备和介质
CN111798483A (zh) 一种抗遮挡行人跟踪的方法、装置及存储介质
CN110135377B (zh) 车路协同中物体运动状态检测方法、装置和服务器
WO2023197232A9 (zh) 目标跟踪方法及装置、电子设备、计算机可读介质
EP4020428A1 (en) Method and apparatus for recognizing lane, and computing device
CN114882491B (zh) 一种非机动车目标的跟踪方法、装置和电子设备
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN115546705B (zh) 目标识别方法、终端设备及存储介质
CN115240429B (zh) 一种人车流量统计方法、电子设备及存储介质
CN112528807A (zh) 行驶轨迹的预测方法、装置、电子设备及存储介质
CN112447060A (zh) 识别车道的方法、装置及计算设备
CN114387296A (zh) 目标轨迹追踪方法、装置、计算机设备及存储介质
CN116863124B (zh) 车辆姿态确定方法、控制器及存储介质
CN111724607B (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
CN112580565A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN110084157B (zh) 图像重识别的数据处理方法及装置
CN117197796A (zh) 一种车辆遮挡识别方法及相关装置
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN114037977A (zh) 道路灭点的检测方法、装置、设备及存储介质
CN113673332A (zh) 对象识别方法、装置以及计算机可读存储介质
CN116912517B (zh) 相机视野边界的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant