CN113095232A - 一种目标实时跟踪方法 - Google Patents

一种目标实时跟踪方法 Download PDF

Info

Publication number
CN113095232A
CN113095232A CN202110401954.3A CN202110401954A CN113095232A CN 113095232 A CN113095232 A CN 113095232A CN 202110401954 A CN202110401954 A CN 202110401954A CN 113095232 A CN113095232 A CN 113095232A
Authority
CN
China
Prior art keywords
target object
image frame
target
maximum value
intersection ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110401954.3A
Other languages
English (en)
Other versions
CN113095232B (zh
Inventor
刘中秋
张伟
陈高曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miaxis Biometrics Co Ltd
Original Assignee
Miaxis Biometrics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miaxis Biometrics Co Ltd filed Critical Miaxis Biometrics Co Ltd
Priority to CN202110401954.3A priority Critical patent/CN113095232B/zh
Publication of CN113095232A publication Critical patent/CN113095232A/zh
Application granted granted Critical
Publication of CN113095232B publication Critical patent/CN113095232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标实时跟踪方法，依据连续帧之间同一目标对象的交叠率彼此最高的判断来检测前后帧中的目标是否为同一个目标对象，即连续两帧之间，前一帧的目标对象p与后一帧的所有目标对象的交并比最大值对应目标对象q、且后一帧的目标对象q与前一帧的所有目标对象的交并比最大值对应目标对象为p时，可将前一帧中的目标对象p和后一帧中的目标对象q判定为同一目标对象。本发明提供的方法，可避免由于使用人为设定阈值带来的实验误差问题及因其导致的准确性低的缺陷，有效提升目标跟踪的准确性。

Description

一种目标实时跟踪方法
【技术领域】
本发明涉及图像识别技术领域，具体涉及一种目标实时跟踪方法。
【背景技术】
目标跟踪作为计算机视觉领域的一个基础分支，在视频监控、智能交通、自动驾驶等领域有着重要的应用价值。
目前常规的目标跟踪方法大多利用交并比值即IOU(intersection over union)判定前后帧检测到的目标是否为同一个目标对象，这种方法首先根据前后帧检测到的目标框进行IOU值计算，随后将IOU值大于一定阈值的两者判定为同一个目标对象，其中阈值为实验数值，通常由本领域技术人员根据需要进行设置，因此这类方法受人为设定阈值的影响较大，存在不可避免的实验误差。
【发明内容】
有鉴于此，本发明的目的在于提供一种目标实时跟踪方法，在对IOU值进行匹配分析时，不使用人为设定的阈值，考虑连续帧之间同一目标对象的交叠率彼此最高，即连续两帧之间，前一帧的目标对象p与后一帧的所有目标对象的交并比最大值对应目标对象q、且后一帧的目标对象q与前一帧的所有目标对象的交并比最大值对应目标对象为p时，可将前一帧中的目标对象p和后一帧中的目标对象q判定为同一目标对象，除此之外均判定为不同目标对象。
本申请是通过以下技术方案实现的，提供了一种目标实时跟踪方法，包括步骤如下：
步骤1：使用待跟踪目标对象训练集对卷积神经网络进行训练，训练完成后，得到所需的目标检测模型；
步骤2：开启摄像头实时获取监控视频流的连续帧图像，定义相邻的连续两帧为第一图像帧和第二图像帧；
定义第一图像帧中的单个目标对象与第二图像帧的多个目标对象的交并比为第一交并比，
定义第二图像帧中的单个目标对象与第一图像帧的多个目标对象的交并比为第二交并比；
步骤3：使用步骤1中训练好的目标检测模型对步骤2中获取的帧图像进行检测，判断帧图像中是否存在目标对象；
步骤4：获取首次检测到目标对象的第一图像帧中各个目标对象的位置信息，并使用唯一标识序列对不同位置的目标对象分配唯一标识；
步骤5：若经检测发现第二图像帧中不存在目标对象，则将后续帧中首次检测到目标对象的图像帧作为第一图像帧进行步骤4操作；若第二图像帧中存在目标对象，则获取第二图像帧中各个目标对象的位置信息并对不同目标对象一一分配随机标识；
步骤6：计算第一图像帧中的每个目标对象的第一交并比最大值，并得出此第一交并比最大值所对应的第一图像帧和第二图像帧中的目标对象；
所述第一交并比最大值代表第二图像帧中与第一图像帧的单个目标对象重叠度最高的目标对象；所述第二交并比最大值代表第一图像帧中与第二图像帧的单个目标对象重叠度最高的目标对象；
步骤7：计算步骤6中第一交并比最大值所对应的第二图像帧中目标对象的第二交并比最大值，并得出此第二交并比最大值所对应的第一图像帧中的目标对象，判断此第二交并比最大值所对应的第一图像帧中的目标对象是否是步骤6中第一交并比最大值对应的第一图像帧中的目标对象；
步骤8：若步骤7中第一交并比最大值和第二交并比最大值所对应的第一图像帧和第二图像帧中的目标对象相同的话，则判定此两个目标对象为同一目标对象，使用第一图像帧中目标对象的唯一标识更新第二图像帧中目标对象的随机标识；
步骤9：若步骤7中第一交并比最大值和第二交并比最大值所对应的第一图像帧和第二图像帧中的目标对象不相同，则判定第一交并比最大值对应的第二图像帧中目标对象，是相对于第一图像帧的新目标对象，使用唯一标识序列更新其随机标识；
步骤10：将全部完成随机标识更新的第二图像帧作为新的第一图像帧重复步骤5～9，直到完成后续所有图像帧中目标对象标识的更新。
作为一种技术方案，所述待跟踪目标对象可根据需求进行选择；所述待跟踪目标对象可为行人或车辆；
作为一种技术方案，所述交并比IOU的计算公式如下：
Figure BDA0003020662830000021
其中，A表示第一图像帧中单个目标对象的区域面积，B表示第二图像帧单个目标对象的区域面积。
作为一种技术方案，所述唯一标识序列为自然数序列；
作为一种技术方案，各个目标对象的检测位置用多边形框表示，优选矩形框；
作为一种技术方案，所述交并比IOU即为相邻帧中两个矩形框面积的交集与并集之商；
作为一种技术方案，所述矩形框面积通过建立坐标系计算得出。
本发明提供一种目标实时跟踪方法，利用前后两帧中同一目标对象的重叠程度彼此最高的属性实现前后帧同一目标对象的信息关联，可避免由于使用人为设定阈值带来的实验误差问题及因其导致的准确性低的缺陷，从而提升目标实时跟踪的准确性和可靠性。
【附图说明】
图1为本发明具体实施例的步骤流程图。
【具体实施方式】
下面将结合附图和具体的实施方式对本发明的技术方案作进一步详细描述，以行人实时跟踪为例，具体步骤如下，但本发明保护范围不限于下述实施例：
(1)使用人脸图像训练集对卷积神经网络进行训练，训练完成后得到人脸检测模型；
(2)开启摄像头实时获取行人监控视频的连续帧图像；
(3)使用步骤(1)中训练好的人脸检测模型对步骤(2)中获取的帧图像进行检测；
(4)首次检测到人脸的图像帧为第n帧，第n帧中检测出人脸数量为F1，F1为正整数，每个人脸的位置信息用矩形Rect(i)表示，所述i为不大于F1的正整数，使用自然数序列X依次对不同位置的人脸分配唯一标识id1；在计算机内存中开辟空间ID1保存第n帧中涉及的相关参数；
(5)第n+1帧中检测出人脸数量为F2，若F2为0，以后续帧中首次检测到人脸的图像帧作为新的第n帧进行步骤4操作；若F2不为0，将检测出的第n+1帧中每个人脸的位置信息用矩形Rect(j)表示，所述j为不大于F2的正整数，并对所检测到的不同位置的人脸随机分配标识id2，id2为任意自然数；在计算机内存中开辟空间ID2保存第n+1帧中涉及的相关参数；
(6)计算第n帧中单个人脸与第n+1帧中多个人脸的交并比值，得出第n帧中每个人脸的交并比最大值IOU1及所对应的第n+1帧中的人脸，如
Figure BDA0003020662830000031
表示第n帧中第k个人脸，其交并比最大值IOU1对应的是第n+1帧中的第m个人脸即
Figure BDA0003020662830000032
(7)计算IOU1所对应的第n+1帧中的人脸与第n帧中多个人脸的交并比值，得出第n+1帧中每个人脸的交并比最大值IOU2及所对应的第n帧中的人脸，如计算
Figure BDA0003020662830000033
与第n帧中多个人脸的交并比值，得出交并比最大值IOU2，定义IOU2所对应的第n帧中人脸为
Figure BDA0003020662830000034
判断
Figure BDA0003020662830000035
与
Figure BDA0003020662830000036
是否为同一个人脸；
(8)若
Figure BDA0003020662830000037
与
Figure BDA0003020662830000038
为同一个人脸，则判定
Figure BDA0003020662830000039
与
Figure BDA00030206628300000310
为连续帧中的同一人脸，用ID1中对应第k张人脸的唯一标识(ID1.id1)更新ID2中对应的第m张人脸的随机标识(ID2.id2)；若
Figure BDA0003020662830000041
与
Figure BDA0003020662830000042
为不同的人脸，则判定
Figure BDA0003020662830000043
为相对于第n帧的新进入人脸，使用自然数序列X为其分配唯一标识。
(9)将完成全部人脸随机标识更新的第n+1帧作为新的第n帧重复步骤5～8，直到完成后续所有图像帧中人脸标识的更新。
实验结果：
以RetinaFace为主体人脸检测网络结构进行训练，采用网络公开的YouTube FaceDatabase，包含1595个不同人的3425个视频进行人脸跟踪测试，测试结果如下：
跟踪算法 跟踪准确率
交并比阈值法 90.28％
本申请提供的方法 99.85％
通过上述比较可以看出，本发明方法具有更优越的性能，大大提升了跟踪的准确性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原作之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种目标实时跟踪方法，其特征在于，包括步骤如下：
步骤1：使用待跟踪目标对象训练集对卷积神经网络进行训练，得到所需的目标检测模型；
步骤2：开启摄像头实时获取监控视频流的连续帧图像，定义相邻的连续两帧为第一图像帧和第二图像帧；
定义第一图像帧中的单个目标对象与第二图像帧的多个目标对象的交并比为第一交并比，
定义第二图像帧中的单个目标对象与第一图像帧的多个目标对象的交并比为第二交并比；
步骤3：使用步骤1中训练好的目标检测模型对步骤2中获取的帧图像进行检测，判断帧图像中是否存在目标对象；
步骤4：获取首次检测到目标对象的第一图像帧中各个目标对象的位置信息，并使用唯一标识序列对不同位置的目标对象分配唯一标识；
步骤5：若经检测发现第二图像帧中不存在目标对象，则将后续帧中首次检测到目标对象的图像帧作为第一图像帧进行步骤4操作；若第二图像帧中存在目标对象，则获取第二图像帧中各个目标对象的位置信息并对不同目标对象一一分配随机标识；
步骤6：计算第一图像帧中的每个目标对象的第一交并比最大值，并得出此第一交并比最大值所对应的第一图像帧和第二图像帧中的目标对象；
步骤7：计算步骤6中第一交并比最大值所对应的第二图像帧中目标对象的第二交并比最大值，并得出此第二交并比最大值所对应的第一图像帧中的目标对象，判断此第二交并比最大值所对应的第一图像帧中的目标对象是否是步骤6中第一交并比最大值对应的第一图像帧中的目标对象；
步骤8：若步骤7中第一交并比最大值和第二交并比最大值所对应的第一图像帧和第二图像帧中的目标对象相同的话，则判定此两个目标对象为同一目标对象，使用第一图像帧中目标对象的唯一标识更新第二图像帧中目标对象的随机标识；
步骤9：若步骤7中第一交并比最大值和第二交并比最大值所对应的第一图像帧和第二图像帧中的目标对象不相同，则判定第一交并比最大值对应的第二图像帧中目标对象，是相对于第一图像帧的新目标对象，使用唯一标识序列更新其随机标识；
步骤10：将全部完成随机标识更新的第二图像帧作为新的第一图像帧重复步骤5～9，直到完成后续所有图像帧中目标对象标识的更新。
2.如权利要求1所述的一种目标实时跟踪方法，其特征在于，所述第一交并比最大值代表第二图像帧中与第一图像帧的单个目标对象重叠度最高的目标对象，所述第二交并比最大值代表第一图像帧中与第二图像帧的单个目标对象重叠度最高的目标对象。
3.如权利要求1所述的一种目标实时跟踪方法，其特征在于，所述待跟踪目标对象为视频流中处于运动状态的物体。
4.如权利要求3所述的一种目标实时跟踪方法，其特征在于，所述待跟踪目标对象为行人或车辆。
5.如权利要求1所述的一种目标实时跟踪方法，其特征在于，所述交并比IOU为相邻帧中两个目标对象区域面积的交集与并集之商。
6.如权利要求5所述的一种目标实时跟踪方法，其特征在于，所述交并比IOU的计算公式如下：
Figure FDA0003020662820000021
其中，A表示第一图像帧中单个目标对象的区域面积，B表示第二图像帧单个目标对象的区域面积。
7.如权利要求1所述的一种目标实时跟踪方法，其特征在于，所述唯一标识序列为自然数序列。
8.如权利要求1所述的一种目标实时跟踪方法，其特征在于，所述待跟踪目标对象的位置可根据目标对象使用多边形框表示。
9.如权利要求8所述的一种目标实时跟踪方法，其特征在于，所述多边形框为矩形框。
CN202110401954.3A 2021-04-14 2021-04-14 一种目标实时跟踪方法 Active CN113095232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110401954.3A CN113095232B (zh) 2021-04-14 2021-04-14 一种目标实时跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110401954.3A CN113095232B (zh) 2021-04-14 2021-04-14 一种目标实时跟踪方法

Publications (2)

Publication Number Publication Date
CN113095232A true CN113095232A (zh) 2021-07-09
CN113095232B CN113095232B (zh) 2022-04-22

Family

ID=76677674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110401954.3A Active CN113095232B (zh) 2021-04-14 2021-04-14 一种目标实时跟踪方法

Country Status (1)

Country Link
CN (1) CN113095232B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516093A (zh) * 2021-07-27 2021-10-19 浙江大华技术股份有限公司 标识信息的标注方法及装置、存储介质及电子装置
CN117333904A (zh) * 2023-10-18 2024-01-02 杭州锐颖科技有限公司 一种多特征融合的行人跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325463A (zh) * 2018-10-16 2019-02-12 浙江中正智能科技有限公司 一种人脸实时跟踪方法
CN109635693A (zh) * 2018-12-03 2019-04-16 武汉烽火众智数字技术有限责任公司 一种正脸图像检测方法及装置
CN110751646A (zh) * 2019-10-28 2020-02-04 支付宝(杭州)信息技术有限公司 利用车辆视频中的多个图像帧进行损伤识别的方法及装置
CN111079620A (zh) * 2019-12-10 2020-04-28 北京小蝇科技有限责任公司 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111127516A (zh) * 2019-12-19 2020-05-08 苏州智加科技有限公司 无搜索框的目标检测和跟踪方法及系统
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质
US20210049395A1 (en) * 2018-11-19 2021-02-18 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325463A (zh) * 2018-10-16 2019-02-12 浙江中正智能科技有限公司 一种人脸实时跟踪方法
US20210049395A1 (en) * 2018-11-19 2021-02-18 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and storage medium
CN109635693A (zh) * 2018-12-03 2019-04-16 武汉烽火众智数字技术有限责任公司 一种正脸图像检测方法及装置
CN110751646A (zh) * 2019-10-28 2020-02-04 支付宝(杭州)信息技术有限公司 利用车辆视频中的多个图像帧进行损伤识别的方法及装置
CN111079620A (zh) * 2019-12-10 2020-04-28 北京小蝇科技有限责任公司 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111127516A (zh) * 2019-12-19 2020-05-08 苏州智加科技有限公司 无搜索框的目标检测和跟踪方法及系统
CN112037247A (zh) * 2020-08-27 2020-12-04 浙江大华技术股份有限公司 一种目标跟踪的方法、装置及计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516093A (zh) * 2021-07-27 2021-10-19 浙江大华技术股份有限公司 标识信息的标注方法及装置、存储介质及电子装置
CN117333904A (zh) * 2023-10-18 2024-01-02 杭州锐颖科技有限公司 一种多特征融合的行人跟踪方法
CN117333904B (zh) * 2023-10-18 2024-04-23 杭州锐颖科技有限公司 一种多特征融合的行人跟踪方法

Also Published As

Publication number Publication date
CN113095232B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
US8213679B2 (en) Method for moving targets tracking and number counting
David et al. Softposit: Simultaneous pose and correspondence determination
CN113095232B (zh) 一种目标实时跟踪方法
CN103810473B (zh) 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN111899334A (zh) 一种基于点线特征的视觉同步定位与地图构建方法及装置
CN104778465B (zh) 一种基于特征点匹配的目标跟踪方法
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN107833239B (zh) 一种基于加权模型约束的寻优匹配目标跟踪方法
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
US10635948B2 (en) Method for locating one or more candidate digital images being likely candidates for depicting an object
CN110751096A (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
JP5371040B2 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
CN110969110A (zh) 一种基于深度学习的人脸跟踪方法及系统
CN111914832B (zh) 一种rgb-d相机在动态场景下的slam方法
Zhang et al. Bidirectional multiple object tracking based on trajectory criteria in satellite videos
CN114092903A (zh) 车道线标注、检测模型确定、车道线检测方法及相关设备
CN114155489A (zh) 一种多设备协同的无人机飞手检测方法、设备及存储介质
CN111428612B (zh) 行人重识别方法、终端、装置及存储介质
CN112001280A (zh) 一种实时、可在线优化的人脸识别系统和方法
CN112016661B (zh) 一种基于擦除显著性区域的行人重识别方法
Dong et al. An optimization-based approach to image binarization
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
CN113450457A (zh) 道路重建方法、装置、计算机设备和存储介质
CN112215205A (zh) 目标识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant