CN116030096A - 目标识别方法、装置、终端设备及计算机可读存储介质 - Google Patents

目标识别方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116030096A
CN116030096A CN202310090503.1A CN202310090503A CN116030096A CN 116030096 A CN116030096 A CN 116030096A CN 202310090503 A CN202310090503 A CN 202310090503A CN 116030096 A CN116030096 A CN 116030096A
Authority
CN
China
Prior art keywords
image
frame
foreground
feature
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310090503.1A
Other languages
English (en)
Inventor
林建业
黄黎恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Link Technologies Co Ltd
Original Assignee
TP Link Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Link Technologies Co Ltd filed Critical TP Link Technologies Co Ltd
Priority to CN202310090503.1A priority Critical patent/CN116030096A/zh
Publication of CN116030096A publication Critical patent/CN116030096A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请适用于目标跟踪技术领域,提供了一种目标识别方法、装置、终端设备及计算机可读存储介质,包括:当摄像机在跟踪状态下拍摄到k帧图像,计算所述k帧图像中每两个相邻的图像帧之间的第一运动向量,其中,所述第一运动向量表示图像帧整体画面的偏移量;计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,所述第二运动向量表示图像帧中前景部分的偏移量;根据每个所述第一运动量和每个所述第二运动量,计算所述k帧图像中每个所述第一前景的每个第一运动分数;根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标。通过上述方法,能够有效提高目标识别的可靠性。

Description

目标识别方法、装置、终端设备及计算机可读存储介质
技术领域
本申请属于目标跟踪技术领域,尤其涉及一种目标识别方法、装置、终端设备及计算机可读存储介质。
背景技术
基于计算机视觉的目标跟踪技术,是指在连续的视频序列中,建立目标对象的位置关系,得到目标对象完整的运动轨迹。目前,目标跟踪技术已经得到了广泛地应用,如交通监控系统中的车辆跟踪、安防监控系统中的人物跟踪以及智能交互系统中的人脸/手势跟踪等等。
通常情况下,跟踪场景较为复杂,监测视频中可能出现多个对象,难以从多个对象中识别出跟踪目标,容易导致误跟踪、漏跟踪等情况的发生,降低了目标跟踪的可靠性。
发明内容
本申请实施例提供了一种目标识别方法、装置、终端设备及计算机可读存储介质,可以有效提高目标跟踪的可靠性。
第一方面,本申请实施例提供了一种目标识别方法,包括:
当摄像机在跟踪状态下拍摄到k帧图像,计算所述k帧图像中每两个相邻的图像帧之间的第一运动向量,其中,所述第一运动向量表示图像帧整体画面的偏移量,所述k为大于1的整数;
计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,所述第二运动向量表示图像帧中前景部分的偏移量;
根据每个所述第一运动量和每个所述第二运动量,计算所述k帧图像中每个所述第一前景的每个第一运动分数;
根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标。
本申请实施例中,通过计算每两个相邻的图像帧之间画面整体的偏移量和前景偏移量,计算每个前景的第一运动分数,该第一运动分数用于评估前景和画面整体的偏移一致性;再根据第一运动分数识别跟踪目标,相当于根据前景和画面整体的运动方向的一致性来识别跟踪目标。通过上述方法,能够有效提高目标识别的准确度和可靠性。
在第一方面的一种可能的实现方式中,所述计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,包括:
对于所述k帧图像中的每个所述第一前景,根据第一图像帧中所述第一前景的第一检测框的位置、和第二图像帧中所述第一前景的第二检测框的位置,确定所述第一图像帧中用于表示所述第一前景的第一位置点、以及所述第二图像帧中用于表示所述第一前景的第二位置点,其中,所述第一图像帧和所述第二图像帧为所述k帧图像中两个相邻的图像帧;
计算所述第一位置点与所述第二位置点之间的第一矢量,所述第一矢量为所述第二运动向量。
通过本申请实施例中的方法,根据第一图像帧和第二图像帧中同一个前景的位置,适应性地选取用于表示前景的位置点,使用不受前景检测框变化影响的位置点表示前景位置,有效减小了因检测框变化导致的前景运动向量的计算误差。
在第一方面的一种可能的实现方式中,所述根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标,包括:
计算所述k帧图像中每个所述第一前景对应的所有第一运动分数的第一总分值;
若最高的第一总分值大于第一阈值,则将所述最高的第一总分值对应的第一前景确定为所述跟踪目标。
本申请实施例中,由于第一总分值体现的是k帧中第一前景的整体偏移情况,而非某个图像帧的偏移情况,因此,根据第一总分值确定跟踪目标,能够有效避免因单次的第一运动分数较高而导致的误检情况,从而提高了目标识别的可靠性。
在第一方面的一种可能的实现方式中,在计算所述k帧图像中每个所述第一前景对应的所有第一运动分数的第一总分值之后,所述方法还包括:
若最高的第一总分值小于第一阈值,则计算h帧图像中每个第二前景的第二运动分数,其中,所述h帧图像为所述摄像机在跟踪状态下、拍摄所述k帧图像之后拍摄的图像,h为大于1的整数;
计算所述h帧图像中每个所述第二前景对应的所有第二运动分数的第二总分值;
若最高的第二总分值大于所述第一阈值,则将所述最高的第二总分值对应的第二前景确定为所述跟踪目标;
若最高的第二总分值小于所述第一阈值,则判定为误跟踪。
本申请实施例中,当k帧图像中的后几帧出现跟踪目标时,可以通过对k帧图像之后拍摄的h帧图像的继续识别,实现对跟踪目标的正确识别。通过上述方法,有效避免了漏检的情况发生,从而提高目标识别的可靠性。
在第一方面的一种可能的实现方式中,所述方法还包括:
当所述摄像机获取到第三图像帧,根据所述第三图像帧和基准图像进行匹配处理,获得匹配结果,其中,所述基准图像为所述摄像机在非跟踪状态下拍摄的图像;
若所述匹配结果表示所述第三图像帧与基准图像相匹配,则判定所述摄像机处于非跟踪状态;
若所述匹配结果表示所述第三图像帧与基准图像不匹配,则判定所述摄像机处于跟踪状态。
通过本申请实施中方法,在目标识别之前,先对摄像机跟踪状态进行识别;当摄像机处于跟踪状态时,再触发目标识别过程。通过上述方法,能够有效避免摄像机处于非跟踪状态下误识别目标的情况发生,进一步提高了目标识别的可靠性。
在第一方面的一种可能的实现方式中,所述根据所述第三图像帧和基准图像进行匹配处理,获得匹配结果,包括:
获取所述第三图像帧中的第一局部特征和所述基准图像中的第二局部特征;
剔除所述第一局部特征中的前景特征,获得处理后的所述第一局部特征;
剔除所述第二局部特征中的前景特征,获得处理后的所述第二局部特征;
根据处理后的所述第一局部特征和处理后的所述第二局部特征进行匹配处理,获得所述匹配结果。
本申请实施例中,在匹配处理之前,剔除画面中的前景特征点,相当于剩下的为背景特征点,由于背景通常不变化或变化程度较低,因此,利用背景特征点进行画面配准,有利于提高画面配准的精度。
在第一方面的一种可能的实现方式中,所述第一局部特征包括多个第一特征点各自的特征位置,所述第二局部特征包括多个第二特征点各自的特征位置和置信度;
所述根据处理后的所述第一局部特征和处理后的所述第二局部特征进行匹配处理,获得所述匹配结果,包括:
根据多个所述第二特征点各自的特征位置和置信度,从多个所述第二特征点中筛选出第三特征点,所述第三特征点的数量小于所述第二特征点的数量;
根据所述第一特征点的特征位置和所述第三特征点的特征位置,对所述第一特征点和所述第三特征点进行匹配处理,获得所述匹配结果。
本申请实施例中,在匹配处理之前,进行特征稀疏化处理,保留置信度较高的部分特征点。通过该方式,既能避免置信度较低的特征点导致的误匹配,又能减少计算量。
在第一方面的一种可能的实现方式中,所述根据所述第一特征点的特征位置和所述第三特征点的特征位置,对所述第一特征点和所述第三特征点进行匹配处理,获得所述匹配结果,包括:
计算每个所述第一特征点的特征位置与每个所述第三特征点的特征位置之间的位置偏移;
统计小于第二阈值的位置偏移对应的第一特征点的特征数量;
若所述特征数量大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像相匹配;
若所述特征数量不大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像不匹配。
第二方面,本申请实施例提供了一种目标识别装置,包括:
第一计算单元,用于当摄像机在跟踪状态下拍摄到k帧图像,计算所述k帧图像中每两个相邻的图像帧之间的第一运动向量,其中,所述第一运动向量表示图像帧整体画面的偏移量,所述k为大于1的整数;
第二计算单元,用于计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,所述第二运动向量表示图像帧中前景部分的偏移量;
第三计算单元,用于根据每个所述第一运动量和每个所述第二运动量,计算所述k帧图像中每个所述第一前景的每个第一运动分数;
目标识别单元,用于根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的目标识别方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的目标识别方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的目标识别方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的目标识别方法的流程示意图;
图2是本申请实施例提供的运动向量的示意图;
图3是本申请实施例提供的运动向量差的示意图;
图4是本申请实施例提供的目标识别流程的示意图;
图5是本申请实施例提供的跟踪相册的示意图;
图6是本申请实施例提供的监测视频的示意图;
图7是本申请实施例提供的目标识别装置的结构框图;
图8是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
基于计算机视觉的目标跟踪技术,是指在连续的视频序列中,建立目标对象的位置关系,得到目标对象完整的运动轨迹。目前,目标跟踪技术已经得到了广泛地应用,如交通监控系统中的车辆跟踪、安防监控系统中的人物跟踪以及智能交互系统中的人脸/手势跟踪等等。
一些应用场景中,用户设置跟踪触发区域,当对象进入跟踪触发区域,则会触发连续跟踪,即通过云台的转动控制摄像机对该对象进行连续跟踪,直到该对象离开摄像机的拍摄范围。
通常情况下,跟踪场景较为复杂,监测视频中可能出现多个对象,难以从多个对象中识别出跟踪目标,容易导致误跟踪、漏跟踪等情况的发生,降低了目标跟踪的可靠性。
例如,在安防应用场景中,对目标人物进行跟踪。但通常在场景中存在较多的人物,监测视频中这些人物均可能成为图像的前景,从而影响对目标人物的跟踪。
为了解决上述问题,本申请实施例提供了一种目标识别方法。本申请实施例中,根据监测视频中画面的运动方向和画面中每个跟踪对象的运动方向的一致性,从多个跟踪对象中确定出跟踪目标。通过本申请实施例中的方法,能够有效提高目标跟踪的可靠性。
首先介绍本申请实施例涉及到的几种数据处理方式。
方式一、模型训练
本申请实施例中,涉及到的模型包括目标检测模型、重识别模型和图像匹配模型。其中,目标检测模型用于检测图像中的目标对象,输出的结果包括目标对应的检测框。重识别模型用于判断视频序列中是否存在特定的目标(如关联相邻两帧中的目标,使同一目标具有相同编号)。图像匹配模型用于提取图像的深度局部特征。一些应用场景中,目标检测模型和重识别模型可以构成目标跟踪模型,用于实现目标跟踪。
在执行本申请实施例的目标识别方法之前,预先对上述模型进行训练,在目标识别方法执行的过程中,利用训练后的模型进行数据处理,可以有效提高目标识别的效率。
收集多种场景、多视角、多种光照条件(如太阳直射、阴雨天、夜晚和雾霾等)和多种分辨率(如使用不同分辨率的摄像机拍摄)下的监测视频。将收集到的监测视频作为训练数据。
对于目标检测模型,对收集到的监测视频中的图像帧进行标注;例如,交通监控场景下,对图像帧中的人物、车辆等前景进行标注;安防场景下,对图像帧中不同的人物进行标注;智能交互场景中,对不同的人脸/手势进行标注。利用标注后的图像帧训练目标检测模型。可选的,还可以加入公开数据集的标注数据作为补充,以提高目标检测模型对输入数据的适应能力,降低因数据量较少导致的模型过拟合的风险。
对于重识别模型,对收集到的监测视频的图像帧中的目标进行裁剪,将相同目标的裁剪图像存为同一个数据集。例如,交通监控场景下,将相同的人物或车辆的裁剪图像存为一个数据集;安防场景下,将同一人物的裁剪图像存为一个数据集;智能交互场景下,将同一人脸或同一手势的裁剪图像存为一个数据集。利用目标的裁剪图像的数据集训练重识别模型。可选的,还可以对数据集进行数据增广处理。如使用旋转、镜像或随机裁剪等方式,或通过添加遮挡物(如电线杆、树干等)的方式,以提升模型对各种变换场景或各种遮挡场景的鲁棒性。
对于图像匹配模型,对收集到的监测视频的图像帧中的背景物体进行裁剪,将相同背景物体的裁剪图像存为同一个数据集。例如,交通监控场景下,将相同的道路标识或建筑物等背景物体的裁剪图像存为一个数据集。利用背景物体的裁剪图像的数据集训练图像匹配模型。可选的,还可以加入地标建筑数据,以提高图像匹配模型的泛化能力。可选的,图像匹配模型中可以增加注意力机制层,采用两阶段训练方式:训练时冻结注意力机制层、解冻卷积层和全连接层,以获取较优的分类精度;然后解冻注意力机制层、冻结卷积层和全连接层,单独训练注意力机制层,进一步引导网络关注方向,以使模型快速收敛。
方式二、前景特征点剔除
前景特征点剔除过程包括:根据上述训练后的图像匹配模型提取待处理图像的深度局部特征(包括多个特征点各自的特征位置和置信度);根据上述训练后的目标检测模型获取待处理图像中的前景位置(前景的检测框);剔除待处理图像的深度局部特征中位于前景检测框中的特征点。
示例性的,记深度局部特征集合为Z={z1,z2,…zn}。记前景检测框中特征点的集合为B={b1,b2,…bm}。被保留的深度局部特征集合为SAVE3,则有:
zi={posi,thresi};
Figure BDA0004073489010000101
其中,posi表示第i个深度局部特征点的特征位置(如像素坐标),thresi表示第i个深度局部特征点的置信度。
方式三、特征稀疏化
特征稀疏化的过程为,根据置信度对每个特征点特定范围内的特征点进行排序,保留置信度较高的预设数量的特征点。可选的,包括以下步骤:对于每个特征点,以该特征点为中心、预设长度为半径确定圆形区域,根据置信度对该圆形区域内的特征点进行降序排序,保留置信度较高的预设数量的特征点。
可以理解的是,每个特征点的特定范围可以是圆形、矩阵或其他范围,在此不作具体限定。
方式四、画面配准
相邻两帧图像的画面配准过程包括:根据上述训练后的图像匹配模型分别提取两帧图像各自的深度局部特征;然后根据上述方式二中的方法剔除两帧图像各自的深度局部特征中的前景特征点,得到两帧图像各自的剩余特征点集合SAVE1和SAVE2;将SAVE1与SAVE2中的特征点进行匹配;最后剔除匹配的特征点中的离群特征点,以减少误匹配率。
其中,SAVE1与SAVE2中的特征点进行匹配的方式,可以为:计算SAVE1中每个特征点与SAVE2中每个特征点之间的特征距离(如马氏距离、余弦距离或欧式距离等);将最近的特征距离对应的SAVE1中的特征点和SAVE2中的特征点确定为相匹配的特征点。
可以采用现有技术剔除离群特征点,如RANSAC算法等,在此不作具体限定。
下面介绍本申请实施例提供的目标识别方法。
参见图1,是本申请实施例提供的目标识别方法的流程示意图,作为示例而非限定,所述方法可以包括以下步骤:
S101,当摄像机在跟踪状态下拍摄到k帧图像,计算所述k帧图像中每两个相邻的图像帧之间的第一运动向量。
其中,所述第一运动向量表示图像帧整体画面的偏移量,所述k为大于1的整数。
本申请实施例中的步骤S101-S104是在摄像机处于跟踪状态下执行的步骤。当摄像机处于非跟踪状态,则无需进行目标识别。因此,在S101之前,需要先识别摄像机当前的跟踪状态。具体识别方法可参见图4实施例中的描述,在此不再赘述。
跟踪开始后,由于云台转动摄像机拍摄的画面会持续变化,导致静止物体被认为是运动的。因此无法直接通过相邻两帧中前景的像素坐标直接计算运动向量。为了解决上述问题,本申请实施例中,先对两个相邻的图像帧进行画面配准,再将配准后的画面的偏移量记为第一运动向量,将配准后的前景的偏移量记为第二运动向量。画面配准过程可参见上述方式四中的描述,在此不再赘述。
为了防止画面配准时使用了前景特征而导致画面配准精度下降,本申请实施例中,在画面配准之前,可以采用上述方式三中的方法剔除画面中的前景特征点。剔除前景特征点之后,相当于剩下的为背景特征点,由于背景通常不变化或变化程度较低,因此,利用背景特征点进行画面配准,有利于提高画面配准的精度。
在一些应用场景中,图像局部纹理较为丰富,即该图像区域的特征点较多。此种情况下,若采用该区域内所有的特征点进行画面配准,将会消耗大量的计算资源,降低目标识别的效率。为了解决该问题,本申请实施例中,在画面配准之前,可采用上述方式四中的方法进行特征稀疏化处理,保留置信度较高的部分特征点。通过该方式,既能避免置信度较低的特征点导致的误匹配,又能减少计算量。
示例性的,对于相邻的两个图像帧,先利用上述方式三中的方法剔除每个图像帧中的前景特征点;然后利用上述方式四对剩余的特征点进行稀疏化处理;最后利用上述方式五的方法,根据稀疏化处理后的特征点进行画面配准。
可选的,在画面配准之后,S101可以包括:对于k帧图像中的每两帧相邻的图像帧,确定第一图像帧中的第三位置点和第二图像帧中的第四位置点;计算第三位置点和第四位置点之间的第二矢量,该第二矢量即为第一图像帧和第二图像帧之间的第一运动向量,其中,第一图像帧和第二图像帧为所述k帧图像中两个相邻的图像帧。
可以理解的是,上述的第一图像帧和第二图像帧为进行画面配准后的两张相邻的图像帧。例如,上述的位置点,可以将第一图像帧的中心点确定为第三位置点,将第二图像帧中的中心点确定为第四位置点。
示例性的,参见图2,是本申请实施例提供的运动向量的示意图。图2中左图表示第一图像帧,图2中右图表示第二图像帧,第二图像帧为第一图像帧的后一个图像帧。由于摄像机处于跟踪状态,因此,第一图像帧中的中心点A(第三位置点)在第二图像帧中的位置移动到了A’点(将A投影到第二图像帧中得到A’点)。计算第二图像帧的中心点B(第四位置点)与A’两点之间的第二矢量BA’,即可获取第一图像帧和第二图像帧之间的第一运动向量。
S102,计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量。
所述第二运动向量表示图像帧中前景部分的偏移量。
本申请实施例中,可以利用上述方式一中训练后的目标检测模型,检测第一图像帧中的前景和第二图像帧中的前景。目标检测模型的输出可以包括每个前景的检测框和编号。相同的前景对应的编号相同。
步骤S102中,计算的是第一图像帧和第二图像帧中均包含的第一前景的第二运动向量。
例如,第一图像帧中包括第一前景1、2,第二图像帧中包括第一前景2、3。由于第一图像帧和第二图像帧中均包括了第一前景2,则计算第一图像帧和第二图像帧之间第一前景2的第二运动向量。
一些实施例中,S102可以包括:对于k帧图像中的每两帧相邻的图像帧,确定第一图像帧中第一前景的第一位置点和第二图像帧中第一前景的第二位置点;计算第一位置点和第二位置点之间的第一矢量,该第一矢量即为第一图像帧和第二图像帧之间第一前进的第二运动向量,其中,第一图像帧和第二图像帧为所述k帧图像中两个相邻的图像帧。
可选的,第一位置点和第二位置点可以为固定的位置点。例如,第一位置点可以为第一图像帧中第一前景的检测框的中心,第二位置点可以为第二图像帧中第一前景的检测框的中心。
通常情况下,相邻两个图像帧之间背景图像的偏移量不会很大,利用第一图像帧的中心点和第二图像帧的中心点计算第一运动向量即可。但对于前景图像,其偏移量可能较大。例如,画面中人物的出现和消失过程包括:未进入画面->身体部分进入画面->全身进入画面->身体部分离开画面->全身离开画面。随着人物的移动,前景的检测框在画面中的位置也随之变化。此种情况下,若仍选用固定的第一位置点和第二位置点,则容易出现在第二图像帧中找不到相应的第二位置点的情况。
为了解决上述问题,在本申请实施例中,S102可以包括:对于所述k帧图像中的每个所述第一前景,根据第一图像帧中所述第一前景的第一检测框的位置、和第二图像帧中所述第一前景的第二检测框的位置,确定所述第一图像帧中用于表示所述第一前景的第一位置点、以及所述第二图像帧中用于表示所述第一前景的第二位置点,其中,所述第一图像帧和所述第二图像帧为所述k帧图像中两个相邻的图像帧;计算所述第一位置点与所述第二位置点之间的第一矢量,所述第一矢量为所述第二运动向量。
以矩形检测框为例,具体的,提取检测框上几个关键点,如左上角顶点、左下角顶点、右上角顶点、右下角顶点、左边界中点、右边界中点、上边界中点和下边界中点。计算第二运动向量时,进行如下判断:
1)若第一图像帧和第二图像帧中同一个第一前景的检测框距离画面边缘的距离均大于预设阈值,则表示第一前景不在画面边缘,使用第一前景的检测框的中心点计算第二运动向量。
2)若第一图像帧或第二图像帧中同一个第一前景的检测框的两条边界在画面边缘,即两条边界距离各自最近的画面边缘的距离小于预设阈值,则使用检测框另外两条边界上的关键点计算第二运动向量。例如,若检测框的上边界和左边界在画面边缘,则使用检测框的右边界中点和右下角顶点计算第二运动向量;若检测框的上边界和下边界在画面边缘,则使用检测框的左边界中点或右边界中点计算第二运动向量。
3)若第一图像帧或第二图像帧中同一个第一前景的检测框的三条边界在画面边缘,即三条边界距离各自最近的画面边缘的距离小于预设阈值,则使用检测框另一条不在画面边缘的边界点计算第二运动向量。例如,若检测框的上边界、右边界和下边界均位于画面边缘,则利用检测框的左边界中点计算第二运动向量。
通过上述方法,根据第一图像帧和第二图像帧中同一个前景的位置,适应性地选取用于表示前景的位置点,使用不受前景检测框变化影响的位置点表示前景位置,有效减小了因检测框变化导致的前景运动向量的计算误差。
计算第二运动向量的方式与计算第一运动向量的方式相同,在此不再赘述。
S103,根据每个所述第一运动量和每个所述第二运动量,计算所述k帧图像中每个所述第一前景的每个第一运动分数。
本申请实施例中,运动分数用于表示图像整个画面的偏移量与前景部分偏移量之间的一致性。
参见图3,是本申请实施例提供的运动向量差的示意图。如图3所示,第一运动向量为
Figure BDA0004073489010000141
第二运动向量为
Figure BDA0004073489010000142
可以将
Figure BDA0004073489010000143
记为第一运动分数。
Figure BDA0004073489010000144
为一个向量,
Figure BDA0004073489010000145
表示向量
Figure BDA0004073489010000146
的模。该向量长度越小,即第一运动分数越小,表示整个画面的偏移量与前景部分偏移量之间的相似程度越高。还可以将
Figure BDA0004073489010000151
记为第一运动分数。此种情况下,第一运动分数越大,表示整个画面的偏移量与前景部分偏移量之间的相似程度越高。需要说明的是,本申请下述实施例中,以第一运动分数越大、表示整个画面的偏移量与前景部分偏移量之间的相似程度越高为例,进行说明。
S104,根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标。
由于每两个相邻的图像帧计算一次第一运动分数,对于k帧图像,每个第一前景对应至少一个第一运动分数。例如,假设k=3,且第1个图像帧中包括第一前景1、2,第2个图像帧中包括第一前景1、2、3,第3个图像帧中包括第一前景2、3。对于第1个图像帧和第2个图像帧,计算第一前景1的第一运动分数a1和第一前景2的第一运动分数a2;对于第2个图像帧和第3个图像帧,计算第一前景2的第一运动分数b1和第一前景3的第一运动分数b2。
一种实现方式中,S104包括:将最高的第一运动分数对应的第一前景确定为跟踪目标。继续上述示例,假设a1、a2、b1和b2中最高的第一运动分数为a1,则将a1对应的的第一前景1确定为跟踪目标。
但从上述示例可知,3个图像帧中均包含了第一前景2,该第一前景2很有可能是跟踪目标,这与确定出的跟踪目标不一致。例如,在一些应用场景中,某个非跟踪目标可能只出现在某两个相邻的图像帧中,且该非跟踪目标的偏移量与画面整体偏移量相似度较高,可能高于实际跟踪目标对应的第一分数。这种情况下,若仅根据单次的第一运动分数排序,则可能导致误检。
为了解决上述问题,另一种实现方式中,S104包括:
计算所述k帧图像中每个所述第一前景对应的所有第一运动分数的第一总分值;若最高的第一总分值大于第一阈值,则将所述最高的第一总分值对应的第一前景确定为所述跟踪目标。
继续上述示例,计算第一前景1的第一总分值,即a1;计算第一前景2的第一总分值,即a2+b1;计算第一前景3的第一总分值,即b2。
由于第一总分值体现的是k帧中第一前景的整体偏移情况,而非某个图像帧的偏移情况,因此,根据第一总分值确定跟踪目标,能够有效避免因单次的第一运动分数较高而导致的误检情况,从而提高了目标识别的可靠性。
可选的,若最高的第一总分值小于第一阈值,则判定为误跟踪。
实际应用中,可能存在以下情况:k帧图像中的后几帧图像中出现跟踪目标,若此时判定为误跟踪,容易导致漏检。
为了防止漏检的情况发生,可选的,若最高的第一总分值小于第一阈值,则计算h帧图像中每个第二前景的第二运动分数,其中,所述h帧图像为所述摄像机在跟踪状态下、拍摄所述k帧图像之后拍摄的图像,h为大于1的整数;计算所述h帧图像中每个所述第二前景对应的所有第二运动分数的第二总分值;若最高的第二总分值大于所述第一阈值,则将所述最高的第二总分值对应的第二前景确定为所述跟踪目标;若最高的第二总分值小于所述第一阈值,则判定为误跟踪。
计算h帧图像中每个第二前景的第二运动分数的方式与上述S101-S103中方法相同,计算第二总分值的方式与上述S104中的方法相同,具体可参见上述实施例中的描述,在此不再赘述。
当k帧图像中的后几帧出现跟踪目标时,可以通过对k帧图像之后拍摄的h帧图像的继续识别,实现对跟踪目标的正确识别。通过上述方法,有效避免了漏检的情况发生,从而提高目标识别的可靠性。
需要说明的是,本申请实施例中,k帧图像指连续的k个图像帧,h帧图像指连续的h个图像帧。
上述S101-S104所示实施例中,通过计算每两个相邻的图像帧之间画面整体的偏移量和前景偏移量,计算每个前景的第一运动分数,该第一运动分数用于评估前景和画面整体的偏移一致性;再根据第一运动分数识别跟踪目标,相当于根据前景和画面整体的运动方向的一致性来识别跟踪目标。通过上述方法,能够有效提高目标识别的准确度和可靠性。
如S101中所述,上述S101-S104是在摄像机处于跟踪状态下执行的。本申请实施例提供的目标识别方法还包括跟踪状态的判断过程。示例性的,参见图4,是本申请实施例提供的目标识别流程的示意图。作为示例而非限定,如图4所示,目标识别流程可以包括以下步骤:
S401,摄像机每监测到一个图像帧,则根据该图像帧判断当前摄像机的跟踪状态。
S402,若当前摄像机为非跟踪状态,则继续获取下一个图像帧。
S403,若当前摄像机为跟踪状态,则将i值加一。
S404,判断当前i值是否达到预设值。
若当前i值达到预设值K,则执行上述S101-S104中的步骤。
若当前i值未达到预设值K,则继续获取下一个图像帧。
另一种实现方式中,在S403之后,当摄像机处于跟踪状态,当获取到两帧图像,即执行上述S101-S103中的步骤;然后每获取到一帧新的图像,则执行一次S101-S103中的步骤。当i达到预设值,执行S104的步骤。
在一些实施例中,跟踪状态的判断过程可以包括:
当所述摄像机获取到第三图像帧,根据所述第三图像帧和基准图像进行匹配处理,获得匹配结果,其中,所述基准图像为所述摄像机在非跟踪状态下拍摄的图像;
若所述匹配结果表示所述第三图像帧与基准图像相匹配,则判定所述摄像机处于非跟踪状态;
若所述匹配结果表示所述第三图像帧与基准图像不匹配,则判定所述摄像机处于跟踪状态。
可以理解的是,本申请实施例中的第三图像帧可以为摄像机获取到的任意一帧图像。换言之,第三图像帧为当前待处理的图像帧。示例性的,当前待处理的图像帧为第t个图像帧,则第t个图像帧为第三图像帧,当第t个图像帧与基准图像不匹配,则第t个图像帧记为摄像机在跟踪状态下拍摄到的1帧图像。然后继续处理下一个图像帧,即第t+1个图像帧。当摄像机在跟踪状态下拍摄到的图像帧的数量达到k,则采用上述S101-S104的方法进行处理。
其中,基准图像可以为摄像机处于非跟踪状态下拍摄的首张图像。
为了保证匹配处理的准确度,可选的,第三图像帧和基准图像进行匹配处理的步骤包括:
获取所述第三图像帧中的第一局部特征和所述基准图像中的第二局部特征;
剔除所述第一局部特征中的前景特征,获得处理后的所述第一局部特征;
剔除所述第二局部特征中的前景特征,获得处理后的所述第二局部特征;
根据处理后的所述第一局部特征和处理后的所述第二局部特征进行匹配处理,获得所述匹配结果。
其中,局部特征可以通过上述方式一中训练后的图像匹配模型获取。剔除前景特征可以通过上述方式二中的方法处理。具体可参见上述实施例中的描述,在此不再赘述。
可选的,所述第一局部特征包括多个第一特征点各自的特征位置,所述第二局部特征包括多个第二特征点各自的特征位置和置信度。相应的,根据处理后的所述第一局部特征和处理后的所述第二局部特征进行匹配处理的步骤可以包括:
根据多个所述第二特征点各自的特征位置和置信度,从多个所述第二特征点中筛选出第三特征点,所述第三特征点的数量小于所述第二特征点的数量;
根据所述第一特征点的特征位置和所述第三特征点的特征位置,对所述第一特征点和所述第三特征点进行匹配处理,获得所述匹配结果。
其中,筛选第三特征点的方法可以利用上述方式三中的方法处理。具体可参见上述实施例中方式三的描述,在此不再赘述。
通常,若图像局部纹理丰富,则一般该区域局部特征较多,但不是所有局部特征均能有效匹配。置信度高的局部特征一般匹配效果更好,置信度低的局部特征可能会发生误匹配。而且特征越多,消耗的计算资源越多,需要的计算等待时间更长、内存占用更大。本申请实施例中,根据多个第二特征点各自的特征位置和置信度,从多个第二特征点中筛选出第三特征点,且第三特征点的数量小于第二特征点的数量。相当于对局部特征进行了特征稀疏化处理,在保证置信度较高的局部特征的密度的前提下,稀疏了置信度较低的局部特征,有效减少了特征误匹配的情况,同时减少了计算资源的消耗、提高了计算效率和内存利用率。
可选的,根据所述第一特征点的特征位置和所述第三特征点的特征位置,对所述第一特征点和所述第三特征点进行匹配处理的步骤可以包括:
计算每个所述第一特征点的特征位置与每个所述第三特征点的特征位置之间的位置偏移;
统计小于第二阈值的位置偏移对应的第一特征点的特征数量;
若所述特征数量大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像相匹配;
若所述特征数量不大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像不匹配。
示例性的,基准图像中的第i个特征为fbi(第一特征点),其像素坐标为(xbi,ybi)(第一特征点的特征位置),第三图像帧中的第j个特征为fmj(第三特征点),其像素坐标为(xmi,ymi)(第三特征点的特征位置)。若|xbi-xmi|≤P,且|ybi-ymi|≤P,则判定fbi与fmi之间的位置偏移小于第二阈值P。
通过本申请实施中方法,在目标识别之前,先对摄像机跟踪状态进行识别;当摄像机处于跟踪状态时,再触发目标识别过程。通过上述方法,能够有效避免摄像机处于非跟踪状态下误识别目标的情况发生,进一步提高了目标识别的可靠性。
在一些应用场景中,为了便于用户查看跟踪结果,在执行上述实施例中方法、识别出跟踪目标后,可以输出跟踪结果。
一种实现方式中,可以输出跟踪目标的相册。示例性的,参见图5,是本申请实施例提供的跟踪相册的示意图。如图5所示,在每个跟踪时段内,若识别出跟踪目标,则将该跟踪时段内每个图像帧中的跟踪目标截图保存,形成每个跟踪时段的跟踪相册。用户可以选择跟踪时段下载查看相应的跟踪目标。
另一种实现方式中,可以在监测视频中标注跟踪状态。若某个图像帧与基准图像的匹配结果表示当前摄像机处于非跟踪状态,则对该图像帧进行第一标注;若某个图像帧与基准图像的匹配结果表示当前摄像机处于跟踪状态,则对该图像帧进行第二标注。根据第一标注和第二标注,用户可以快速查找到跟踪状态下的视频。示例性的,参见图6,是本申请实施例提供的监测视频的示意图。如图6所示,黑色进度条表示处于非跟踪状态下的视频,白色进度条表示处于跟踪状态下的视频。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的目标识别方法,图7是本申请实施例提供的目标识别装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图7,该装置包括:
第一计算单元71,用于当摄像机在跟踪状态下拍摄到k帧图像,计算所述k帧图像中每两个相邻的图像帧之间的第一运动向量,其中,所述第一运动向量表示图像帧整体画面的偏移量,所述k为大于1的整数。
第二计算单元72,用于计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,所述第二运动向量表示图像帧中前景部分的偏移量。
第三计算单元73,用于根据每个所述第一运动量和每个所述第二运动量,计算所述k帧图像中每个所述第一前景的每个第一运动分数。
目标识别单元74,用于根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标。
可选的,第二计算单元72还用于:
对于所述k帧图像中的每个所述第一前景,根据第一图像帧中所述第一前景的第一检测框的位置、和第二图像帧中所述第一前景的第二检测框的位置,确定所述第一图像帧中用于表示所述第一前景的第一位置点、以及所述第二图像帧中用于表示所述第一前景的第二位置点,其中,所述第一图像帧和所述第二图像帧为所述k帧图像中两个相邻的图像帧;
计算所述第一位置点与所述第二位置点之间的第一矢量,所述第一矢量为所述第二运动向量。
可选的,第三计算单元73还用于:
计算所述k帧图像中每个所述第一前景对应的所有第一运动分数的第一总分值;
若最高的第一总分值大于第一阈值,则将所述最高的第一总分值对应的第一前景确定为所述跟踪目标;
若最高的第一总分值小于第一阈值,则计算h帧图像中每个第二前景的第二运动分数,其中,所述h帧图像为所述摄像机在跟踪状态下、拍摄所述k帧图像之后拍摄的图像,h为大于1的整数;
计算所述h帧图像中每个所述第二前景对应的所有第二运动分数的第二总分值;
若最高的第二总分值大于所述第一阈值,则将所述最高的第二总分值对应的第二前景确定为所述跟踪目标;
若最高的第二总分值小于所述第一阈值,则判定为误跟踪。
可选的,装置7还包括:
状态识别单元75,用于当所述摄像机获取到第三图像帧,根据所述第三图像帧和基准图像进行匹配处理,获得匹配结果,其中,所述基准图像为所述摄像机在非跟踪状态下拍摄的图像;若所述匹配结果表示所述第三图像帧与基准图像相匹配,则判定所述摄像机处于非跟踪状态;若所述匹配结果表示所述第三图像帧与基准图像不匹配,则判定所述摄像机处于跟踪状态。
可选的,状态识别单元75还用于:
获取所述第三图像帧中的第一局部特征和所述基准图像中的第二局部特征;
剔除所述第一局部特征中的前景特征,获得处理后的所述第一局部特征;
剔除所述第二局部特征中的前景特征,获得处理后的所述第二局部特征;
根据处理后的所述第一局部特征和处理后的所述第二局部特征进行匹配处理,获得所述匹配结果。
可选的,所述第一局部特征包括多个第一特征点各自的特征位置,所述第二局部特征包括多个第二特征点各自的特征位置和置信度。
相应的,状态识别单元75还用于:
根据多个所述第二特征点各自的特征位置和置信度,从多个所述第二特征点中筛选出第三特征点,所述第三特征点的数量小于所述第二特征点的数量;
根据所述第一特征点的特征位置和所述第三特征点的特征位置,对所述第一特征点和所述第三特征点进行匹配处理,获得所述匹配结果。
可选的,状态识别单元75还用于:
计算每个所述第一特征点的特征位置与每个所述第三特征点的特征位置之间的位置偏移;
统计小于第二阈值的位置偏移对应的第一特征点的特征数量;
若所述特征数量大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像相匹配;
若所述特征数量不大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像不匹配。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
另外,图7所示的目标识别装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元,也可以作为独立的挂件集成到所述终端设备中,还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图8是本申请实施例提供的终端设备的结构示意图。如图8所示,该实施例的终端设备8包括:至少一个处理器80(图8中仅示出一个)处理器、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82,所述处理器80执行所述计算机程序82时实现上述任意各个目标识别方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图8仅仅是终端设备8的举例,并不构成对终端设备8的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit,CPU),该处理器80还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述终端设备8的内部存储单元,例如终端设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述终端设备8的外部存储设备,例如所述终端设备8上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (11)

1.一种目标识别方法,其特征在于,包括:
当摄像机在跟踪状态下拍摄到k帧图像,计算所述k帧图像中每两个相邻的图像帧之间的第一运动向量,其中,所述第一运动向量表示图像帧整体画面的偏移量,所述k为大于1的整数;
计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,所述第二运动向量表示图像帧中前景部分的偏移量;
根据每个所述第一运动量和每个所述第二运动量,计算所述k帧图像中每个所述第一前景的每个第一运动分数;
根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标。
2.如权利要求1所述的目标识别方法,其特征在于,所述计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,包括:
对于所述k帧图像中的每个所述第一前景,根据第一图像帧中所述第一前景的第一检测框的位置、和第二图像帧中所述第一前景的第二检测框的位置,确定所述第一图像帧中用于表示所述第一前景的第一位置点、以及所述第二图像帧中用于表示所述第一前景的第二位置点,其中,所述第一图像帧和所述第二图像帧为所述k帧图像中两个相邻的图像帧;
计算所述第一位置点与所述第二位置点之间的第一矢量,所述第一矢量为所述第二运动向量。
3.如权利要求1所述的目标识别方法,其特征在于,所述根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标,包括:
计算所述k帧图像中每个所述第一前景对应的所有第一运动分数的第一总分值;
若最高的第一总分值大于第一阈值,则将所述最高的第一总分值对应的第一前景确定为所述跟踪目标。
4.如权利要求3所述的目标识别方法,其特征在于,在计算所述k帧图像中每个所述第一前景对应的所有第一运动分数的第一总分值之后,所述方法还包括:
若最高的第一总分值小于第一阈值,则计算h帧图像中每个第二前景的第二运动分数,其中,所述h帧图像为所述摄像机在跟踪状态下、拍摄所述k帧图像之后拍摄的图像,h为大于1的整数;
计算所述h帧图像中每个所述第二前景对应的所有第二运动分数的第二总分值;
若最高的第二总分值大于所述第一阈值,则将所述最高的第二总分值对应的第二前景确定为所述跟踪目标;
若最高的第二总分值小于所述第一阈值,则判定为误跟踪。
5.如权利要求1所述的目标识别方法,其特征在于,所述方法还包括:
当所述摄像机获取到第三图像帧,根据所述第三图像帧和基准图像进行匹配处理,获得匹配结果,其中,所述基准图像为所述摄像机在非跟踪状态下拍摄的图像;
若所述匹配结果表示所述第三图像帧与基准图像相匹配,则判定所述摄像机处于非跟踪状态;
若所述匹配结果表示所述第三图像帧与基准图像不匹配,则判定所述摄像机处于跟踪状态。
6.如权利要求5所述的目标识别方法,其特征在于,所述根据所述第三图像帧和基准图像进行匹配处理,获得匹配结果,包括:
获取所述第三图像帧中的第一局部特征和所述基准图像中的第二局部特征;
剔除所述第一局部特征中的前景特征,获得处理后的所述第一局部特征;
剔除所述第二局部特征中的前景特征,获得处理后的所述第二局部特征;
根据处理后的所述第一局部特征和处理后的所述第二局部特征进行匹配处理,获得所述匹配结果。
7.如权利要求6所述的目标识别方法,其特征在于,所述第一局部特征包括多个第一特征点各自的特征位置,所述第二局部特征包括多个第二特征点各自的特征位置和置信度;
所述根据处理后的所述第一局部特征和处理后的所述第二局部特征进行匹配处理,获得所述匹配结果,包括:
根据多个所述第二特征点各自的特征位置和置信度,从多个所述第二特征点中筛选出第三特征点,所述第三特征点的数量小于所述第二特征点的数量;
根据所述第一特征点的特征位置和所述第三特征点的特征位置,对所述第一特征点和所述第三特征点进行匹配处理,获得所述匹配结果。
8.如权利要求7所述的目标识别方法,其特征在于,所述根据所述第一特征点的特征位置和所述第三特征点的特征位置,对所述第一特征点和所述第三特征点进行匹配处理,获得所述匹配结果,包括:
计算每个所述第一特征点的特征位置与每个所述第三特征点的特征位置之间的位置偏移;
统计小于第二阈值的位置偏移对应的第一特征点的特征数量;
若所述特征数量大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像相匹配;
若所述特征数量不大于第三阈值,则所述匹配结果表示所述第三图像帧与所述基准图像不匹配。
9.一种目标识别装置,其特征在于,包括:
第一计算单元,用于当摄像机在跟踪状态下拍摄到k帧图像,计算所述k帧图像中每两个相邻的图像帧之间的第一运动向量,其中,所述第一运动向量表示图像帧整体画面的偏移量,所述k为大于1的整数;
第二计算单元,用于计算所述k帧图像中每两个相邻的图像帧之间、每个第一前景的第二运动向量,所述第二运动向量表示图像帧中前景部分的偏移量;
第三计算单元,用于根据每个所述第一运动量和每个所述第二运动量,计算所述k帧图像中每个所述第一前景的每个第一运动分数;
目标识别单元,用于根据所述k帧图像中每个所述第一前景的每个第一运动分数识别所述k帧图像中的跟踪目标。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
CN202310090503.1A 2023-01-13 2023-01-13 目标识别方法、装置、终端设备及计算机可读存储介质 Pending CN116030096A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310090503.1A CN116030096A (zh) 2023-01-13 2023-01-13 目标识别方法、装置、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310090503.1A CN116030096A (zh) 2023-01-13 2023-01-13 目标识别方法、装置、终端设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116030096A true CN116030096A (zh) 2023-04-28

Family

ID=86081093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310090503.1A Pending CN116030096A (zh) 2023-01-13 2023-01-13 目标识别方法、装置、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116030096A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993785A (zh) * 2023-08-31 2023-11-03 东之乔科技有限公司 目标对象视觉跟踪方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993785A (zh) * 2023-08-31 2023-11-03 东之乔科技有限公司 目标对象视觉跟踪方法、装置、电子设备及存储介质
CN116993785B (zh) * 2023-08-31 2024-02-02 东之乔科技有限公司 目标对象视觉跟踪方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Yin et al. Text detection, tracking and recognition in video: a comprehensive survey
Lin et al. Abandoned object detection via temporal consistency modeling and back-tracing verification for visual surveillance
Smeulders et al. Visual tracking: An experimental survey
Jalal et al. The state-of-the-art in visual object tracking
Vojíř et al. The enhanced flock of trackers
Tian et al. Real-time detection of abandoned and removed objects in complex environments
Bisio et al. A systematic review of drone based road traffic monitoring system
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
Ali et al. Autonomous road surveillance system: A proposed model for vehicle detection and traffic signal control
CN112149762A (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
Martinović et al. Real-time detection and recognition of traffic signs
Xie et al. Video based head detection and tracking surveillance system
Dai et al. A survey of detection-based video multi-object tracking
Du et al. Face association across unconstrained video frames using conditional random fields
CN116030096A (zh) 目标识别方法、装置、终端设备及计算机可读存储介质
Li et al. Condensation-based multi-person detection and tracking with HOG and LBP
Borhade et al. Advanced driver assistance system
CN113228105A (zh) 一种图像处理方法、装置和电子设备
Mathes et al. Robust non-rigid object tracking using point distribution manifolds
Yankun et al. An efficient real time rectangle speed limit sign recognition system
CN113962338A (zh) 一种rfid辅助多摄像头检测跟踪的室内监控方法及系统
Wang et al. Shadow extraction and application in pedestrian detection
Zhao et al. A multi-target tracking algorithm using texture for real-time surveillance
CN115346143A (zh) 行为检测方法、电子设备、计算机可读介质
CN112329665A (zh) 一种人脸抓拍系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination