CN115512282B - 一种目标跟踪系统自动化在线测试方法及装置 - Google Patents

一种目标跟踪系统自动化在线测试方法及装置 Download PDF

Info

Publication number
CN115512282B
CN115512282B CN202211469790.9A CN202211469790A CN115512282B CN 115512282 B CN115512282 B CN 115512282B CN 202211469790 A CN202211469790 A CN 202211469790A CN 115512282 B CN115512282 B CN 115512282B
Authority
CN
China
Prior art keywords
image frame
target
attribute information
frame sequence
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211469790.9A
Other languages
English (en)
Other versions
CN115512282A (zh
Inventor
瞿锐恒
蒙顺开
李叶雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolphin Lezhi Technology Chengdu Co ltd
Original Assignee
Dolphin Lezhi Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolphin Lezhi Technology Chengdu Co ltd filed Critical Dolphin Lezhi Technology Chengdu Co ltd
Priority to CN202211469790.9A priority Critical patent/CN115512282B/zh
Publication of CN115512282A publication Critical patent/CN115512282A/zh
Application granted granted Critical
Publication of CN115512282B publication Critical patent/CN115512282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪系统自动化在线测试方法及装置，所述方法包括：获取第二图像帧序列和校验目标的真实属性信息；在第二图像帧序列内的各个图像帧上叠加与该图像帧对应的校验目标的真实属性信息和帧序号，而后生成第三图像帧序列，并将第三图像帧序列输入目标跟踪系统；目标跟踪系统跟踪第三图像帧序列的目标后生成第四图像帧序列，然后根据跟踪到的该目标确定校验目标的追踪属性信息；在第四图像帧序列内的各个图像帧上叠加与该图像帧对应的校验目标的追踪属性信息，而后生成第五图像帧序列；提取真实属性信息和追踪属性信息；计算各个图像帧的第一差值，根据第一差值判定目标跟踪系统对图像帧是否跟踪成功。

Description

一种目标跟踪系统自动化在线测试方法及装置
技术领域
本发明属于目标跟踪系统性能检测技术领域，具体涉及一种目标跟踪系统自动化在线测试方法及装置。
背景技术
基于计算机视觉的目标跟踪系统已经广泛应用于社会生活的各个方面。当目标跟踪系统在用户端上线加载后，如何对目标跟踪系统的性能进行有效的测试是现阶段困扰用户的一个主要问题。首先，目标跟踪系统的性能测试方法需要兼顾测试结果的准确性，其次，还需要保证测试的便捷性和高效性。
目前，一种较为常见的针对目标跟踪系统的测试方案为：将受检视频帧、受检视频帧中的标注信息和目标跟踪系统的跟踪结果通过多线程方式传输给针对目标跟踪系统的性能检测设备中，其中所述标注信息多为人工标注，由于算力和设备间传输延时的影响，很难将视频帧、标注信息和跟踪结果这些有效信息做到完全同步，不同步必然需要针对多组数据再做上述有效信息的匹配，增加了性能检测的工作量，性能检测的准确率和效率也相应的被降低。
综上，效率低、准确性差和性能测试过程的自动化程度不够等是目前大量目标跟踪系统性能测试方案存在的共性问题，此外还有一些目标跟踪系统测试方案所依赖的硬件设备较复杂，搭建过程耗时。因此，在用户侧，如何准确且高效地针对实时目标跟踪系统进行性能检测是亟待解决的技术难题，相应地，也成为了计算机视觉领域研究的重点。
发明内容
本发明的目的在于克服现有技术的一项或多项不足，提供一种目标跟踪系统自动化在线测试方法及装置。
本发明的目的是通过以下技术方案来实现的：
第一方面
本发明的第一方面提供了一种目标跟踪系统自动化在线测试方法，所述目标跟踪系统用于获取第一图像帧序列并跟踪所述第一图像帧序列内每个图像帧中的目标；所述自动化在线测试方法包括：
S1.获取用于测试的第二图像帧序列和所述第二图像帧序列内每个图像帧中校验目标的真实属性信息，所述第二图像帧序列从第一图像帧序列中选取，各个图像帧中的校验目标包含在所述目标跟踪系统所跟踪的该图像帧目标中；
S2.基于OSD叠加技术在所述第二图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的真实属性信息和帧序号，而后生成第三图像帧序列，然后将所述第三图像帧序列输入所述目标跟踪系统，所述第三图像帧序列为每个图像帧均叠加真实属性信息和帧序号后的第二图像帧序列；
S3.所述目标跟踪系统跟踪所述第三图像帧序列内各个图像帧中的目标后生成第四图像帧序列，然后根据跟踪到的该目标确定各个图像帧自己对应的校验目标的追踪属性信息；
S4.基于OSD叠加技术在所述第四图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的追踪属性信息，且叠加追踪属性信息的位置与该图像帧对应的校验目标的真实属性信息的位置不重叠，而后生成第五图像帧序列，所述第五图像帧序列为每个图像帧均叠加追踪属性信息后的第四图像帧序列；
S5.提取所述第五图像帧序列内各个图像帧对应的校验目标的真实属性信息和追踪属性信息；
S6.分别计算第五图像帧序列内各个图像帧的第一差值，所述第一差值为提取得到的该图像帧自己对应的校验目标的真实属性信息与追踪属性信息之间的差异度，然后根据第一差值判定所述目标跟踪系统对该第一差值所对应的图像帧是否跟踪成功。
优选地，所述S4具体包括如下子步骤：
S41.启动多个OSD叠加线程，每个所述OSD叠加线程均完成所述第四图像帧序列内图像帧与该图像帧对应校验目标的追踪属性信息之间的叠加，而后生成第五图像帧序列；
其中，各个所述OSD叠加线程处理的图像帧互不相同，所有OSD叠加线程共同完成第四图像帧序列内所有图像帧的处理，所述第五图像帧序列为每个图像帧均叠加追踪属性信息后的第四图像帧序列；
所述S5具体包括如下子步骤：
S51.启动多个解析线程，每个所述解析线程均完成所述第五图像帧序列内图像帧对应校验目标的真实属性信息和追踪属性信息的解析；
其中，各个所述解析线程处理的图像帧互不相同，所有解析线程共同完成第五图像帧序列内所有图像帧的处理。
优选地，所述S2具体包括如下子步骤：
S21.分别确定所述第二图像帧序列内各个图像帧上的第一叠加区域，所有所述第一叠加区域内均无目标；
S22.获取各个第一叠加区域的显存地址；
S23.基于OSD叠加技术和第一叠加区域的所述显存地址，将第二图像帧序列内各个图像帧对应的校验目标的真实属性信息和帧序号叠加到该图像帧所对应的第一叠加区域上，而后生成第三图像帧序列；
S24.将所述第三图像帧序列输入所述目标跟踪系统；
其中所述第三图像帧序列为每个图像帧均叠加真实属性信息和帧序号后的第二图像帧序列。
优选地，所述S21中，分别确定所述第二图像帧序列内各个图像帧上的第一叠加区域，具体包括如下子步骤：
S211.分别判断各个图像帧上预设的固定ROI区域内是否有目标，并选取其中一个没有目标的固定ROI区域作为与该固定ROI区域对应的图像帧的第一叠加区域，其中每个图像帧上均预设有多个固定ROI区域，图像帧对应的第一叠加区域在该图像帧像素坐标系中的位置表示为
Figure 8261DEST_PATH_IMAGE001
，/>
Figure 964716DEST_PATH_IMAGE002
为该第一叠加区域左上角的横坐标，/>
Figure 111663DEST_PATH_IMAGE003
为该第一叠加区域左上角的纵坐标，/>
Figure 811766DEST_PATH_IMAGE004
为该第一叠加区域的宽度，/>
Figure 727769DEST_PATH_IMAGE005
为该第一叠加区域的高度；
所述S22中，所述第一叠加区域的显存地址
Figure 589546DEST_PATH_IMAGE006
，其中/>
Figure 223790DEST_PATH_IMAGE007
为该第一叠加区域对应图像帧左上角像素的显存地址，w为该第一叠加区域对应图像帧的宽度，c为该第一叠加区域对应图像帧的位深，且第一叠加区域对应图像帧左上角像素为该图像帧像素坐标系的原点。
优选地，每个所述OSD叠加线程均完成所述第四图像帧序列内一个图像帧与该图像帧对应校验目标的追踪属性信息之间的叠加，且各个所述OSD叠加线程与第四图像帧序列内的各个图像帧一一对应，第四图像帧序列内的每个图像帧上均预设有多个固定ROI区域；所述OSD叠加线程具体包括如下子步骤：
S411.分别确定所述第四图像帧序列内与该OSD叠加线程对应的图像帧上的第二叠加区域，具体包括如下子步骤：分别判断该OSD叠加线程对应的图像帧上预设的固定ROI区域内是否有目标，并选取其中一个没有目标且与该图像帧对应的校验目标的真实属性信息位置不重叠的固定ROI区域作为该图像帧的第二叠加区域，其中第二叠加区域在该图像帧的像素坐标系位置表示为
Figure 258742DEST_PATH_IMAGE008
，/>
Figure 232514DEST_PATH_IMAGE009
为该第二叠加区域左上角的横坐标，
Figure 61930DEST_PATH_IMAGE010
为该第二叠加区域左上角的纵坐标，/>
Figure 183470DEST_PATH_IMAGE011
为该第二叠加区域的宽度，/>
Figure 22113DEST_PATH_IMAGE012
为该第二叠加区域的高度；
S412.获取所述第二叠加区域的显存地址，所述第二叠加区域的显存地址
Figure 584812DEST_PATH_IMAGE013
，其中/>
Figure 116288DEST_PATH_IMAGE014
为该图像帧左上角像素的显存地址，/>
Figure 193965DEST_PATH_IMAGE015
为该图像帧的宽度，/>
Figure 836299DEST_PATH_IMAGE016
为该图像帧的位深，且该图像帧左上角像素为该图像帧像素坐标系的原点；
S413.基于OSD叠加技术和所述第二叠加区域的显存地址，在该图像帧上叠加与该图像帧对应的校验目标的追踪属性信息。
优选地，所述校验目标的真实属性信息和追踪属性信息均包括校验目标的中心点横坐标信息、中心点纵坐标信息、目标宽度信息和目标高度信息，所述中心点横坐标信息、中心点纵坐标信息、目标宽度信息和目标高度信息均包括一个或多个字符。
优选地，每个所述解析线程均完成所述第五图像帧序列内一个图像帧对应校验目标的真实属性信息和追踪属性信息的解析，所述第五图像帧序列内的各个图像帧与各个解析线程一一对应；所述解析线程具体包括如下子步骤：
S511.根据真实属性信息和追踪属性信息在图像帧上叠加位置的先验知识，从与该解析线程对应的图像帧中提取出真实属性信息和追踪属性信息的关联数据；
S512.将所述关联数据进行灰度化处理，并将灰度化后的关联数据进行二值化处理，然后基于SVM分类算法提取二值化后的关联数据中的字符。
优选地，所述S6具体包括如下子步骤：
S61.分别计算第五图像帧序列内各个图像帧的第一差值，所述第一差值包括第一差值A1、第一差值A2、第一差值A3和第一差值A4；
其中，第一差值A1=tx-tx1，tx为解析得到的该图像帧自己对应的校验目标的真实属性信息中的中心点横坐标信息，tx1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的中心点横坐标信息；
第二差值A2=ty-ty1，ty为解析得到的该图像帧自己对应的校验目标的真实属性信息中的中心点纵坐标信息，ty1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的中心点纵坐标信息；
第三差值A3=tw-tw1，tw为解析得到的该图像帧自己对应的校验目标的真实属性信息中的目标宽度信息，tw1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的目标宽度信息；
第四差值A4=th-th1，th为解析得到的该图像帧自己对应的校验目标的真实属性信息中的目标高度信息，th1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的目标高度信息；
S62.若第一差值A1、第一差值A2、第一差值A3和第一差值A4均小于第一阈值，则所述目标跟踪系统对该第一差值对应的图像帧跟踪成功，否则所述目标跟踪系统对该第一差值对应的图像帧跟踪失败。
优选地，所述OSD叠加技术基于预设的OSD字符字典结构，在所述第二图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的真实属性信息字符和帧序号字符时，以及在所述第四图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的追踪属性信息字符时，根据第一预设规则改变所述OSD字符字典结构输出的所有真实属性信息字符、帧序号字符和追踪属性信息字符的颜色。
本发明第一方面带来的有益效果是：
（1）、将校验目标的真实属性信息和帧序号通过OSD叠加技术（On ScreenDisplay）叠加到输入受检目标跟踪系统的图像帧中，受检目标跟踪系统得到跟踪结果后，将跟踪结果中的校验目标的追踪属性信息也通过OSD叠加技术叠加到受检目标跟踪系统识别出的图像帧上并输出，然后根据真实属性信息和追踪属性信息所叠加位置的先验知识，解析出图像帧的真实属性信息所包含的字符以及追踪属性信息所包含的字符，然后进行字符比对，进而判断受检目标跟踪系统的性能，基于OSD叠加技术，在字符比对时不需要进行图像帧的真实标注信息与目标跟踪系统跟踪出的跟踪信息之间的匹配，省去了复杂的匹配算法，提高了对目标跟踪系统进行检测的效率和准确性，并且整个测试方法实现了自动化，效率进一步提升；
综上，本发明第一方面实现的目标跟踪系统自动化在线测试方法兼顾了检测结果的高准确性、检测过程的高便捷性以及检测过程的高效率。
（2）、通过多个OSD叠加线程并行，结合在与受检目标跟踪系统交互过程中的所有图像帧均标记有对应的帧序号，多个OSD叠加线程并行时图像帧、真实属性信息和追踪属性信息匹配得到保证，提高了对目标跟踪系统进行检测的效率；
（3）、通过多个解析线程并行，提高了对追踪属性信息和真实属性信息的解析效率，从而也提高了对目标跟踪系统进行检测的效率；
（4）、通过OSD字符字典结构，将固定字符例如0-9的数字和a-z的字母做成字典结构，降低了基于本发明实现的自动化在线测试方法的测试装置所需预留的缓存空间；
（5）、根据第一预设规则改变OSD字符字典输出的所有真实属性信息字符、帧序号字符和追踪属性信息字符的颜色，例如针对彩色图像帧，设置OSD叠加字符的颜色为红色，针对红外图像帧，设置OSD叠加字符的颜色为黑色或者白色，从而便于各个OSD叠加字符的分类提取，同时也使得OSD叠加字符醒目，便于检测人员观察对比。
第二方面
本发明的第二方面提供了一种目标跟踪系统自动化在线测试装置，所述目标跟踪系统用于与图像输入源通信连接，所述图像输入源用于输出所述第一图像帧序列，所述在线测试装置基于第一方面提供的一种目标跟踪系统自动化在线测试方法，所述在线测试装置用于与所述图像输入源通信连接，在线测试装置还用于与所述目标跟踪系统通信连接。
本发明的第二方面带来与第一方面相同的有益效果，在此不再赘述。
附图说明
图1为目标跟踪系统自动化在线测试方法的一种流程图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参阅图1，本实施例提供了一种目标跟踪系统自动化在线测试方法，用户侧基于该方法对已上线的目标跟踪系统进行性能测试，上述目标跟踪系统用于与图像输入源通信连接，接收图像输入源传送的第一图像帧序列，然后识别和跟踪第一图像帧序列中各个图像帧中的目标。
具体地，一种目标跟踪系统自动化在线测试方法包括如下步骤：
S1.获取用于测试的第二图像帧序列和第二图像帧序列内每个图像帧中校验目标的真实属性信息，第二图像帧序列从第一图像帧序列中选取，各个图像帧中的校验目标包含在目标跟踪系统所跟踪的该图像帧的目标中。
可选地，基于第二预设规则来确定第二图像帧序列，第二预设规则具体为：截取第一图像帧序列中的两个固定帧序号间的所有帧作为用于对受检的目标跟踪系统进行性能检测的测试集（测试集原图），该测试集即为第二图像帧序列；确定出第二图像帧序列后，从受检的目标跟踪系统对每个图像帧所跟踪的目标中选取出一个或多个作为该图像帧的校验目标，然后对第二图像帧序列内各个图像帧中校验目标的真实属性信息进行预设存储，后续步骤中直接获取。其中，校验目标的真实属性信息包括校验目标的中心点横坐标信息、中心点纵坐标信息、目标宽度信息和目标高度信息，中心点横坐标信息、中心点纵坐标信息、目标宽度信息和目标高度信息均包括一个或多个字符。
S2.基于OSD叠加技术在第二图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的真实属性信息和帧序号，而后生成第三图像帧序列，然后将第三图像帧序列输入目标跟踪系统，第三图像帧序列为每个图像帧均叠加真实属性信息和帧序号后的第二图像帧序列，可知的，第三图像帧序列内的各个图像帧与第二图像帧序列内的各个图像帧一一对应。
可选的，OSD叠加技术采用OSD字符字典结构，OSD字符字典结构集成在字符型OSD发生器内。OSD字符字典结构中将固定字符例如0-9的数字和a-z的字母做成字典结构，降低使用本实施例实现方法的测试装置所需的缓存空间，同时在OSD字符字典结构中调取真实属性信息字符和帧序号字符所对应的字符时，根据第一预设规则改变OSD字符字典结构输出的真实属性信息字符和帧序号字符的颜色。第一预设规则为：根据输入目标跟踪系统的第一图像帧序列的类型进行叠加字符的颜色设置，比如：若第一图像帧序列为彩色图像帧，则将叠加字符的颜色设置为红色；若第一图像帧序列为红外图像帧，则将叠加字符的颜色设置为黑色或白色。
S3.目标跟踪系统识别和跟踪第三图像帧序列内各个图像帧中的目标后生成第四图像帧序列，然后根据跟踪到的该目标确定各个图像帧自己对应的校验目标的追踪属性信息，可知的，第四图像帧内的各个图像帧与第三图像帧序列内的各个图像帧一一对应。其中，校验目标的追踪属性信息包括经目标跟踪系统跟踪到的校验目标的中心点横坐标信息、中心点纵坐标信息、目标宽度信息和目标高度信息。
S4.基于OSD叠加技术在第四图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的追踪属性信息，且叠加追踪属性信息的位置与该图像帧对应的校验目标的真实属性信息的位置不重叠，而后生成第五图像帧序列，第五图像帧序列为每个图像帧均叠加追踪属性信息后的第四图像帧序列，可知的，第四图像帧序列内的各个图像帧与第五图像帧序列内的各个图像帧一一对应。
可选的，OSD叠加技术也采用步骤S2中相同的OSD字符字典结构，同时也根据第一预设规则改变OSD字符字典结构输出的追踪属性信息字符的颜色。
S5.提取第五图像帧序列内各个图像帧对应的校验目标的真实属性信息和追踪属性信息。
S6.分别计算第五图像帧序列内各个图像帧的第一差值，第一差值为提取得到的该图像帧自己对应的校验目标的真实属性信息与追踪属性信息之间的差异度，然后根据第一差值判定目标跟踪系统对该第一差值所对应的图像帧是否跟踪成功。
在另一个实施例中，S6之后还包括如下步骤：
S7.统计跟踪成功的图像帧在第五图像帧序列所包含的所有图像帧中的占比，然后根据占比判定目标跟踪系统的性能。例如：若占比大于第二阈值，则判定受检的目标跟踪系统性能正常，否则判定受检的目标跟踪系统性能异常。
在另一个实施例中，S2具体包括如下子步骤：
S21.分别确定第二图像帧序列内各个图像帧上的第一叠加区域，所有第一叠加区域内均无目标。可选地，第一叠加区域的确定步骤为：
S211.分别判断各个图像帧上预设的固定ROI区域内是否有目标，并选取其中一个没有目标的固定ROI区域作为与该固定ROI区域对应的图像帧的第一叠加区域，其中每个图像帧上均预设有多个固定ROI区域，图像帧对应的第一叠加区域在该图像帧像素坐标系中的位置表示为
Figure 530803DEST_PATH_IMAGE001
，/>
Figure 967600DEST_PATH_IMAGE002
为该第一叠加区域左上角的横坐标，/>
Figure 798153DEST_PATH_IMAGE003
为该第一叠加区域左上角的纵坐标，/>
Figure 181861DEST_PATH_IMAGE004
为该第一叠加区域的宽度，/>
Figure 515891DEST_PATH_IMAGE005
为该第一叠加区域的高度。优选地，在选取其中一个没有目标的固定ROI区域作为与该固定ROI区域对应的图像帧的第一叠加区域时，分别依序判断各个固定ROI区域内是否存在目标，若当前固定ROI区域内无目标，那么将当前固定ROI区域确定为与该当前固定ROI区域对应的图像帧的第一叠加区域，若当前固定ROI区域内有目标，则继续对下一个固定ROI区域进行有无目标的判断，直至选取到第一叠加区域。本实施例中，预设的固定ROI区域为当前图像帧的左上角区域和左下角区域等。
S22.获取各个第一叠加区域的显存地址。可选地，第一叠加区域的显存地址
Figure 389169DEST_PATH_IMAGE006
，其中/>
Figure 644701DEST_PATH_IMAGE007
为该第一叠加区域对应图像帧左上角像素的显存地址，w为该第一叠加区域对应图像帧的宽度，c为该第一叠加区域对应图像帧的位深，且第一叠加区域对应图像帧左上角像素为该图像帧像素坐标系的原点。
S23.基于OSD叠加技术和第一叠加区域的显存地址，将第二图像帧序列内各个图像帧对应的校验目标的真实属性信息和帧序号叠加到该图像帧所对应的第一叠加区域上，而后生成第三图像帧序列，其中，第三图像帧序列为每个图像帧均叠加真实属性信息和帧序号后的第二图像帧序列。
S24.将第三图像帧序列输入受检的目标跟踪系统。
在另一个实施例中，S4具体包括如下子步骤：
S41.启动多个OSD叠加线程，每个OSD叠加线程均完成第四图像帧序列内图像帧与该图像帧对应校验目标的追踪属性信息之间的叠加，而后生成第五图像帧序列。其中，各个OSD叠加线程处理的图像帧互不相同，所有OSD叠加线程共同完成第四图像帧序列内所有图像帧的处理，第五图像帧序列为每个图像帧均叠加追踪属性信息后的第四图像帧序列。
优选地，每个OSD叠加线程均完成第四图像帧序列内一个图像帧与该图像帧对应校验目标的追踪属性信息之间的叠加，且各个OSD叠加线程与第四图像帧序列内的各个图像帧一一对应。相应的，OSD叠加线程具体包括如下子步骤：
S411.分别确定第四图像帧序列内与该OSD叠加线程对应的图像帧上的第二叠加区域，具体包括如下子步骤：分别判断该OSD叠加线程对应的图像帧上预设的固定ROI区域内是否有目标，并选取其中一个没有目标且与该图像帧对应的校验目标的真实属性信息位置不重叠的固定ROI区域作为该图像帧的第二叠加区域，其中第二叠加区域在该图像帧的像素坐标系位置表示为
Figure 363258DEST_PATH_IMAGE008
，/>
Figure 82952DEST_PATH_IMAGE009
为该第二叠加区域左上角的横坐标，/>
Figure 861552DEST_PATH_IMAGE010
为该第二叠加区域左上角的纵坐标，/>
Figure 604380DEST_PATH_IMAGE011
为该第二叠加区域的宽度，/>
Figure 126629DEST_PATH_IMAGE012
为该第二叠加区域的高度。优选地，在选取其中一个没有目标且与该图像帧对应的校验目标的真实属性信息位置不重叠的固定ROI区域时，分别依序判断各个固定ROI区域内是否存在目标且是否与该图像帧对应的校验目标的真实属性信息位置重叠，若当前固定ROI区域内有目标和/或与该图像帧对应的校验目标的真实属性信息位置重叠，则继续对下一个固定ROI区域进行判断，直到确定出该图像帧的第二叠加区域，否则将当前固定ROI区域作为与该图像帧的第二叠加区域。
S412.获取第二叠加区域的显存地址。具体地，第二叠加区域的显存地址
Figure 700829DEST_PATH_IMAGE013
，其中/>
Figure 853593DEST_PATH_IMAGE014
为该图像帧左上角像素的显存地址，/>
Figure 614876DEST_PATH_IMAGE015
为该图像帧的宽度，/>
Figure 206394DEST_PATH_IMAGE016
为该图像帧的位深，且该图像帧的左上角像素为该图像帧像素坐标系的原点。
S413.基于OSD叠加技术和第二叠加区域的显存地址，在该图像帧上叠加与该图像帧对应的校验目标的追踪属性信息字符。
在另一个实施例中，S5具体包括如下子步骤：
S51.启动多个解析线程，每个解析线程均完成第五图像帧序列内图像帧对应校验目标的真实属性信息和追踪属性信息的解析；其中，各个解析线程处理的图像帧互不相同，所有解析线程共同完成第五图像帧序列内所有图像帧的处理。
优选地，每个解析线程均完成第五图像帧序列内一个图像帧对应校验目标的真实属性信息和追踪属性信息的解析，第五图像帧序列内的各个图像帧与各个解析线程一一对应。相应的，解析线程具体包括如下子步骤：
S511.根据真实属性信息和追踪属性信息在图像帧上叠加位置的先验知识，从与该解析线程对应的图像帧中提取出真实属性信息和追踪属性信息的关联数据。其中根据真实属性信息和追踪属性信息在图像帧上叠加位置的先验知识，从与各个图像帧对应的预设固定ROI区域中将对应的真实属性信息和追踪属性信息的关联数据提取出来。
S512.将关联数据进行灰度化处理，并将灰度化后的关联数据进行二值化处理，然后基于SVM分类算法提取二值化后的关联数据中的字符。其中SVM分类算法集成在预设的SVM分类器中。
在另一个实施例中，S6具体包括如下子步骤：
S61.分别计算第五图像帧序列内各个图像帧的第一差值，所述第一差值包括第一差值A1、第一差值A2、第一差值A3和第一差值A4；
其中：
第一差值A1=tx-tx1，tx为解析得到的该图像帧自己对应的校验目标的真实属性信息中的中心点横坐标信息，tx1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的中心点横坐标信息；
第二差值A2=ty-ty1，ty为解析得到的该图像帧自己对应的校验目标的真实属性信息中的中心点纵坐标信息，ty1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的中心点纵坐标信息；
第三差值A3=tw-tw1，tw为解析得到的该图像帧自己对应的校验目标的真实属性信息中的目标宽度信息，tw1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的目标宽度信息；
第四差值A4=th-th1，th为解析得到的该图像帧自己对应的校验目标的真实属性信息中的目标高度信息，th1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的目标高度信息；
S62.若第一差值A1、第一差值A2、第一差值A3和第一差值A4均小于第一阈值，则受检的目标跟踪系统对该第一差值对应的图像帧跟踪成功，否则目标跟踪系统对该第一差值对应的图像帧跟踪失败。
实施例二
本实施例提供了一种目标跟踪系统自动化在线测试装置，目标跟踪系统用于与图像输入源通信连接，图像输入源用于输出第一图像帧序列，在线测试装置基于实施例一提供的一种目标跟踪系统自动化在线测试方法，在线测试装置的第一输入端用于与图像输入源通信连接，在线测试装置的第一输出端用于与目标跟踪系统的图像输入端通信连接，在线测试装置的第二输入端用于与目标跟踪系统的图像输出端通信连接。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种目标跟踪系统自动化在线测试方法，所述目标跟踪系统用于获取第一图像帧序列并跟踪所述第一图像帧序列内每个图像帧中的目标；其特征在于，所述自动化在线测试方法包括：
S1.获取用于测试的第二图像帧序列和所述第二图像帧序列内每个图像帧中校验目标的真实属性信息，所述第二图像帧序列从第一图像帧序列中选取，各个图像帧中的校验目标包含在所述目标跟踪系统所跟踪的该图像帧目标中；
S2.基于OSD叠加技术在所述第二图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的真实属性信息和帧序号，而后生成第三图像帧序列，然后将所述第三图像帧序列输入所述目标跟踪系统，所述第三图像帧序列为每个图像帧均叠加真实属性信息和帧序号后的第二图像帧序列；
S3.所述目标跟踪系统跟踪所述第三图像帧序列内各个图像帧中的目标后生成第四图像帧序列，然后根据跟踪到的该目标确定各个图像帧自己对应的校验目标的追踪属性信息；
S4.基于OSD叠加技术在所述第四图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的追踪属性信息，且叠加追踪属性信息的位置与该图像帧对应的校验目标的真实属性信息的位置不重叠，而后生成第五图像帧序列，所述第五图像帧序列为每个图像帧均叠加追踪属性信息后的第四图像帧序列；
S5.提取所述第五图像帧序列内各个图像帧对应的校验目标的真实属性信息和追踪属性信息；
S6.分别计算第五图像帧序列内各个图像帧的第一差值，所述第一差值为提取得到的该图像帧自己对应的校验目标的真实属性信息与追踪属性信息之间的差异度，然后根据第一差值判定所述目标跟踪系统对该第一差值所对应的图像帧是否跟踪成功；
所述S4具体包括如下子步骤：
S41.启动多个OSD叠加线程，每个所述OSD叠加线程均完成所述第四图像帧序列内图像帧与该图像帧对应校验目标的追踪属性信息之间的叠加，而后生成第五图像帧序列；
其中，各个所述OSD叠加线程处理的图像帧互不相同，所有OSD叠加线程共同完成第四图像帧序列内所有图像帧的处理，所述第五图像帧序列为每个图像帧均叠加追踪属性信息后的第四图像帧序列；
所述S5具体包括如下子步骤：
S51.启动多个解析线程，每个所述解析线程均完成所述第五图像帧序列内图像帧对应校验目标的真实属性信息和追踪属性信息的解析；
其中，各个所述解析线程处理的图像帧互不相同，所有解析线程共同完成第五图像帧序列内所有图像帧的处理；
所述S2具体包括如下子步骤：
S21.分别确定所述第二图像帧序列内各个图像帧上的第一叠加区域，所有所述第一叠加区域内均无目标；
S22.获取各个第一叠加区域的显存地址；
S23.基于OSD叠加技术和第一叠加区域的所述显存地址，将第二图像帧序列内各个图像帧对应的校验目标的真实属性信息和帧序号叠加到该图像帧所对应的第一叠加区域上，而后生成第三图像帧序列；
S24.将所述第三图像帧序列输入所述目标跟踪系统；
其中所述第三图像帧序列为每个图像帧均叠加真实属性信息和帧序号后的第二图像帧序列；
所述S21中，分别确定所述第二图像帧序列内各个图像帧上的第一叠加区域，具体包括如下子步骤：
S211.分别判断各个图像帧上预设的固定ROI区域内是否有目标，并选取其中一个没有目标的固定ROI区域作为与该固定ROI区域对应的图像帧的第一叠加区域，其中每个图像帧上均预设有多个固定ROI区域，图像帧对应的第一叠加区域在该图像帧像素坐标系中的位置表示为
Figure DEST_PATH_IMAGE001
，
Figure 273663DEST_PATH_IMAGE002
为该第一叠加区域左上角的横坐标，
Figure DEST_PATH_IMAGE003
为该第一叠加区域左上角的纵坐标，
Figure 128486DEST_PATH_IMAGE004
为该第一叠加区域的宽度，
Figure DEST_PATH_IMAGE005
为该第一叠加区域的高度；
所述S22中，所述第一叠加区域的显存地址
Figure 845907DEST_PATH_IMAGE006
，其中
Figure DEST_PATH_IMAGE007
为该第一叠加区域对应图像帧左上角像素的显存地址，w为该第一叠加区域对应图像帧的宽度，c为该第一叠加区域对应图像帧的位深，且第一叠加区域对应图像帧左上角像素为该图像帧像素坐标系的原点；
每个所述OSD叠加线程均完成所述第四图像帧序列内一个图像帧与该图像帧对应校验目标的追踪属性信息之间的叠加，且各个所述OSD叠加线程与第四图像帧序列内的各个图像帧一一对应，第四图像帧序列内的每个图像帧上均预设有多个固定ROI区域；所述OSD叠加线程具体包括如下子步骤：
S411.分别确定所述第四图像帧序列内与该OSD叠加线程对应的图像帧上的第二叠加区
域，具体包括如下子步骤：分别判断该OSD叠加线程对应的图像帧上预设的固定ROI区域内是否有目标，并选取其中一个没有目标且与该图像帧对应的校验目标的真实属性信息位置不重叠的固定ROI区域作为该图像帧的第二叠加区域，其中第二叠加区域在该图像帧的像素坐标系位置表示为
Figure 178799DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
为该第二叠加区域左上角的横坐标，
Figure 789909DEST_PATH_IMAGE010
为该第二叠加区域左上角的纵坐标，
Figure DEST_PATH_IMAGE011
为该第二叠加区域的宽度，
Figure 550054DEST_PATH_IMAGE012
为该第二叠加区域的高度；
S412.获取所述第二叠加区域的显存地址，所述第二叠加区域的显存地址
Figure DEST_PATH_IMAGE013
，其中
Figure 489192DEST_PATH_IMAGE014
为该图像帧左上角像素的显存地址，
Figure DEST_PATH_IMAGE015
为该图像帧的宽度，
Figure 360196DEST_PATH_IMAGE016
为该图像帧的位深，且该图像帧左上角像素为该图像帧像素坐标系的原点；
S413.基于OSD叠加技术和所述第二叠加区域的显存地址，在该图像帧上叠加与该图像帧对应的校验目标的追踪属性信息。
2.根据权利要求1所述的一种目标跟踪系统自动化在线测试方法，其特征在于，所述校验目标的真实属性信息和追踪属性信息均包括校验目标的中心点横坐标信息、中心点纵坐标信息、目标宽度信息和目标高度信息，所述中心点横坐标信息、中心点纵坐标信息、目标宽度信息和目标高度信息均包括一个或多个字符。
3.根据权利要求2所述的一种目标跟踪系统自动化在线测试方法，其特征在于，每个所述解析线程均完成所述第五图像帧序列内一个图像帧对应校验目标的真实属性信息和追踪属性信息的解析，所述第五图像帧序列内的各个图像帧与各个解析线程一一对应；所述解析线程具体包括如下子步骤：
S511.根据真实属性信息和追踪属性信息在图像帧上叠加位置的先验知识，从与该解析线程对应的图像帧中提取出真实属性信息和追踪属性信息的关联数据；
S512.将所述关联数据进行灰度化处理，并将灰度化后的关联数据进行二值化处理，然后基于SVM分类算法提取二值化后的关联数据中的字符。
4.根据权利要求2所述的一种目标跟踪系统自动化在线测试方法，其特征在于，所述S6具体包括如下子步骤：
S61.分别计算第五图像帧序列内各个图像帧的第一差值，所述第一差值包括第一差值A1、第一差值A2、第一差值A3和第一差值A4；
其中，第一差值A1=tx-tx1，tx为解析得到的该图像帧自己对应的校验目标的真实属性信息中的中心点横坐标信息，tx1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的中心点横坐标信息；
第二差值A2=ty-ty1，ty为解析得到的该图像帧自己对应的校验目标的真实属性信息中的中心点纵坐标信息，ty1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的中心点纵坐标信息；
第三差值A3=tw-tw1，tw为解析得到的该图像帧自己对应的校验目标的真实属性信息中的目标宽度信息，tw1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的目标宽度信息；
第四差值A4=th-th1，th为解析得到的该图像帧自己对应的校验目标的真实属性信息中的目标高度信息，th1为解析得到的该图像帧自己对应的校验目标的追踪属性信息中的目标高度信息；
S62.若第一差值A1、第一差值A2、第一差值A3和第一差值A4均小于第一阈值，则所述目标跟踪系统对该第一差值对应的图像帧跟踪成功，否则所述目标跟踪系统对该第一差值对应的图像帧跟踪失败。
5.根据权利要求2所述的一种目标跟踪系统自动化在线测试方法，其特征在于，所述OSD叠加技术基于预设的OSD字符字典结构，在所述第二图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的真实属性信息字符和帧序号字符时，以及在所述第四图像帧序列内的各个图像帧上分别叠加与该图像帧对应的校验目标的追踪属性信息字符时，根据第一预设规则改变所述OSD字符字典结构输出的所有真实属性信息字符、帧序号字符和追踪属性信息字符的颜色。
6.一种目标跟踪系统自动化在线测试装置，所述目标跟踪系统用于与图像输入源通信连接，所述图像输入源用于输出所述第一图像帧序列，其特征在于，所述在线测试装置基于权利要求1至5项任一项所述的一种目标跟踪系统自动化在线测试方法，所述在线测试装置用于与所述图像输入源通信连接，在线测试装置还用于与所述目标跟踪系统通信连接。
CN202211469790.9A 2022-11-23 2022-11-23 一种目标跟踪系统自动化在线测试方法及装置 Active CN115512282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211469790.9A CN115512282B (zh) 2022-11-23 2022-11-23 一种目标跟踪系统自动化在线测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211469790.9A CN115512282B (zh) 2022-11-23 2022-11-23 一种目标跟踪系统自动化在线测试方法及装置

Publications (2)

Publication Number Publication Date
CN115512282A CN115512282A (zh) 2022-12-23
CN115512282B true CN115512282B (zh) 2023-03-24

Family

ID=84513963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211469790.9A Active CN115512282B (zh) 2022-11-23 2022-11-23 一种目标跟踪系统自动化在线测试方法及装置

Country Status (1)

Country Link
CN (1) CN115512282B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101396333B1 (ko) * 2007-10-02 2014-05-26 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
CN103338335B (zh) * 2013-06-19 2017-02-08 奇瑞汽车股份有限公司 一种车辆字符叠加辅助装置
CN110163174A (zh) * 2019-05-27 2019-08-23 成都科睿埃科技有限公司 一种基于单目摄像头的活体人脸检测方法
CN112150508B (zh) * 2020-09-29 2023-03-03 济南博观智能科技有限公司 一种目标追踪方法、装置及相关设备

Also Published As

Publication number Publication date
CN115512282A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
WO2020010547A1 (zh) 字符识别方法、装置、存储介质及电子设备
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
CN112381075B (zh) 一种机房特定场景下进行人脸识别的方法及系统
CN111738041A (zh) 一种视频分割方法、装置、设备及介质
CN107209922A (zh) 图像处理设备、图像处理系统、和图像处理方法
CN109344864B (zh) 用于密集物体的图像处理方法及装置
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN114549993B (zh) 实验中线段图像的评分方法、系统、设备及可读存储介质
US20180063449A1 (en) Method for processing an asynchronous signal
CN112036232B (zh) 一种图像表格结构识别方法、系统、终端以及存储介质
US11164327B2 (en) Estimation of human orientation in images using depth information from a depth camera
CN111738120A (zh) 人物识别方法、装置、电子设备及存储介质
CN108052931A (zh) 一种车牌识别结果融合方法及装置
WO2023123924A1 (zh) 目标识别方法、装置、电子设备及存储介质
CN112784835A (zh) 圆形印章的真实性识别方法、装置、电子设备及存储介质
WO2019214019A1 (zh) 基于卷积神经网络的网络教学方法以及装置
CN115049955A (zh) 一种基于视频分析技术的火灾探测分析方法及装置
US10529453B2 (en) Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score
WO2015168893A1 (zh) 一种视频质量检测的方法及装置
CN115512282B (zh) 一种目标跟踪系统自动化在线测试方法及装置
CN111832550B (zh) 数据集制作方法、装置、电子设备及存储介质
CN111626244B (zh) 图像识别方法、装置、电子设备和介质
CN112084103B (zh) 界面测试方法、装置、设备和介质
CN105760854B (zh) 信息处理方法及电子设备
Jiang et al. Fr-patchcore: An industrial anomaly detection method for improving generalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant