CN111539986B - 目标跟踪方法、装置、计算机设备和存储介质 - Google Patents
目标跟踪方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111539986B CN111539986B CN202010218506.5A CN202010218506A CN111539986B CN 111539986 B CN111539986 B CN 111539986B CN 202010218506 A CN202010218506 A CN 202010218506A CN 111539986 B CN111539986 B CN 111539986B
- Authority
- CN
- China
- Prior art keywords
- target
- previous frame
- image
- initial
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims description 112
- 238000004590 computer program Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标跟踪方法、装置、计算机设备和存储介质。所述方法包括:接收运动目标的初始方位;获取在所述初始方位下所拍摄的运动目标的前一帧图像;采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。采用本方法能够实现对所述特定运动目标的针对性识别,提高了目标跟踪的精确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种目标跟踪方法、装置、计算机设备和存储介质。
背景技术
随着社会的发展,目标跟踪技术越来越多的应用于交通监控、战场侦察等安防领域。
传统技术中,通常采用支持向量机(Support Vector Machine,SVM)的目标分类算法进行目标跟踪,该算法主要针对小样本进行处理,无法满足大规模训练样本,从而无法满足复杂场景下特定目标的分类识别,同样无法持续稳定的跟踪目标。
发明内容
基于此,有必要针对上述技术问题,提供一种目标跟踪方法、装置、计算机设备和存储介质。
一方面,提供一种目标跟踪方法,所述方法包括:
接收运动目标的初始方位;
获取在所述初始方位下所拍摄的运动目标的前一帧图像;
采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;
根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
另一方面,提供一种目标跟踪装置,所述装置包括:
接收模块,用于接收运动目标的初始方位;
第一获取模块,用于获取在所述初始方位下所拍摄的运动目标的前一帧图像;
检测模块,用于采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
第二获取模块,用于根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;
跟踪模块,用于根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
另一方面,提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收运动目标的初始方位;
获取在所述初始方位下所拍摄的运动目标的前一帧图像;
采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;
根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
另一方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收运动目标的初始方位;
获取在所述初始方位下所拍摄的运动目标的前一帧图像;
采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;
根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
上述目标跟踪方法、装置、计算机设备和存储介质,所述方法包括:接收运动目标的初始方位,获取在所述初始方位下所拍摄的运动目标的前一帧图像,以确保所述前一帧图像中存在所述运动目标,避免了大范围检测以确定所述运动目标,减少了检测运算,提高了跟踪效率。再采用深度学习算法从所述前一帧图像的运动目标中确定特征运动目标,实现对所述特定运动目标的针对性识别,提高了目标跟踪的精确性。再根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像,以使所述特定运动目标始终位于靠近图像中心点的位置,根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标,进而根据每一帧图像中所述特定运动目标的坐标实现对所述特定运动目标的持续稳定性跟踪。
附图说明
图1为一个实施例中目标跟踪方法的流程示意图;
图2为一个实施例中采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标的流程示意图;
图3为一个实施例中根据所述目标点的坐标信息获取筛选目标块的流程示意图;
图4为一个实施例中将所述前一帧图像中的筛选目标块与所述再前一帧图像中的筛选目标块进行匹配,得到稳定目标块的流程示意图;
图5为一个实施例中根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像的流程示意图;
图6为一个实施例中监控器调整拍摄方位的示意图;
图7为一个实施例中根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标的流程示意图;
图8为一个实施例中目标跟踪装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种目标跟踪方法,包括以下步骤:
S110、接收运动目标的初始方位。
具体地,计算机设备与雷达监测设备通信连接,所述雷达监测设备可用于监测得到所述运动目标的初始方位,将所述初始方位传输至计算机设备,计算机设备接收由雷达监测设备得到的所述运动目标的初始方位。
其中,所述运动目标可以是飞驰的车辆,航行的船只,行走的人,奔跑的动物等处于运动状态的对象。
进一步地,所述目标跟踪方法还包括接收停止跟踪指令/继续跟踪指令,可通过用户端发送至计算机设备,以停止/继续目标跟踪。以此保证人为情况下控制目标跟踪停止/继续,增加操作多样性。
S120、获取在所述初始方位下所拍摄的运动目标的前一帧图像。
具体地,计算机设备接收到所述运动目标的初始方位后,控制光电设备如监控器以朝向所述初始方位作为拍摄角度,开始拍摄视频。计算机设备获取监控器所拍摄的视频中的第一帧图像作为所述前一帧图像。
其中,所述前一帧图像中包括多个所述运动目标。
S130、采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标。
具体地,计算机设备根据特定运动目标图像采用深度学习算法进行训练,得到分类模型,如根据车图像训练得到分类模型。计算机设备采用上述训练得到的分类模型对所述前一帧图像中的运动目标进行分类,使分类模型输出所述运动目标的分类类别为车的概率,根据概率从所述前一帧图像的运动目标中确定所述特定运动目标为车。
S140、根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像。
具体地,计算机设备获取所述特定运动目标的初始坐标相对于所述前一帧图像的中心点坐标的偏移情况,调整监控器的拍摄方位,即将所述初始方位根据所述偏移情况向靠近所述前一帧图像的中心点的位置调整,得到所述下一方位。计算机设备控制监控器以朝向所述下一方位作为拍摄角度,继续拍摄视频。计算机设备获取监控器在所述下一方位所拍摄的第一帧图像作为所述下一帧图像。
S150、根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
具体地,计算机设备以所述初始坐标为基准,如以所述初始坐标作为起点,在所述下一帧图像中获取可能存在所述特定运动目标的多个区域,采用方向梯度直方图(HOG,Histogram of Oriented Gradient)特征提取算法在所述前一帧图像中提取包括所述特定运动目标的区域的图像特征,以及所述下一帧图像中提取可能存在所述特定运动目标的多个区域的图像特征,也可以采用其他图像特征提取算法如局部二值模式(LBP,LocalBinary Pattern)、Haar特征提取算法提取图像特征。所述图像特征包括轮廓特征、像素特征、纹理特征等图像信息。根据包括所述特定运动目标的区域的图像特征与可能存在所述特定运动目标的多个区域的图像特征之间的关系,得到所述下一帧图像中最可能存在所述特定运动目标的区域,将该区域的中心点坐标作为所述特定运动目标在所述下一帧图像中的下一坐标。
本实施例中,计算机设备接收运动目标的初始方位,获取在所述初始方位下所拍摄的运动目标的前一帧图像,以确保所述前一帧图像中存在所述运动目标,避免了大范围检测以确定所述运动目标,减少了检测运算,提高了跟踪效率。再采用深度学习算法从所述前一帧图像的运动目标中确定特征运动目标,实现对所述特定运动目标的针对性识别,提高了目标跟踪的精确性。再根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像,以使所述特定运动目标始终位于靠近图像中心点的位置,根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标,进而根据每一帧图像中所述特定运动目标的坐标实现对所述特定运动目标的持续稳定性跟踪。
在一个实施例中,如图2所示,所述S130、采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标,包括如下步骤:
S210、获取所述前一帧图像中所述运动目标的二值化图像。
其中,所述二值化图像由目标点构成。所述目标点为构成所述运动目标的坐标点。
具体地,计算机设备根据跟踪应用场景,如山路目标跟踪、空中目标跟踪、水中目标跟踪或者地面目标跟踪,采用不同的提取方式提取出所述前一帧图像中的所述运动目标,得到运动目标图像,并将提取得到的所述运动目标图像进行而二值化处理,得到所述运动目标的二值化图像。例如,应用于空中目标跟踪时,计算机设备可通过调节所述前一帧图像的对比度,根据不同区域的对比度差异,提取目标轮廓,作为运动目标图像,如基于canny的边缘检测算法。应用于地面目标跟踪时,计算机设备可采用背景建模方法去除所述前一帧图像中的地面背景,得到所述运动目标图像,如帧间差分法、高斯背景建模法等,基于ViBe(Visual Background Extractor)算法将地面背景(比如路面、树木、房屋等)进行减除,留下有运动特性的目标(比如行驶的车辆、走动的行人等)。
S220、根据所述目标点的坐标信息获取筛选目标块。
其中,每一所述筛选目标块用于表征一所述运动目标。
具体地,计算机设备根据所述目标点的坐标信息对所述目标点进行数据点特征分析,将用于构成同一所述运动目标的所述目标点作为一个整体,获取该整体的特征信息如尺寸、形状、像素占比等。计算机设备将获取的所述特征信息与预设特征条件进行比对,若所述特征信息满足所述预设特征条件则保留所述整体,作为所述筛选目标块,若所述特征信息不满足所述预设特征条件则剔除该整体。
S230、将所述前一帧图像中的筛选目标块与再前一帧图像中的筛选目标块进行匹配,得到稳定目标块。
其中,所述稳定目标块用于表征在监控器所拍摄的视频中持续出现的运动目标。
具体地,计算机设备可提取所述前一帧图像中筛选目标块中的特征信息如尺寸、形状、像素占比等至少一种,提取所述再前一帧图像中的筛选目标块的特征信息如尺寸、形状、像素占比等至少一种,将所述前一帧图像中筛选目标块中的特征信息与所述再前一帧图像中筛选目标块的相同类型的特征信息进行匹配,得到匹配度。当所述匹配度大于预设匹配度阈值,则匹配成功,当匹配成功连续预设帧数,则将该匹配度对应的所述前一帧图像中的筛选目标块作为所述稳定目标块。
S240、将所述稳定目标块输入目标检测模型对所述稳定目标块进行分类,得到所述稳定目标块的分类类别和类别概率。
其中,所述目标检测模型为通过不同类别的样本图像深度学习训练得到的分类模型。
具体地,计算机设备通过不同分类类别的运动目标图像进行深度学习训练,得到分类模型,如采用人图像、车图像、船图像、动物图像训练得到分类模型。计算机设备采用上述训练得到的分类模型对得到所述稳定目标块进行分类,根据所要得到的所述特定运动目标如车图像,调整所述分类器模型中的参数,使分类模型输出所述稳定目标块的分类类别,以及所述分类类别为车的概率。得到的所述稳定目标块可包括多种分类类别,如分类类别为人的稳定目标块,分类类别为车的稳定目标块,每种分类类别的稳定目标块也可为多个。
S250、获取所述稳定目标块的分类类别为所述特定运动目标,且所述类别概率大于概率阈值的所述稳定目标块,作为所述特定运动目标。
具体地,所述稳定目标块中包括多种分类类别,例如,车,人等分类类别。计算机设备获取所述稳定目标块中所述分类类别为预先输入的所述特定运动目标,如车,且输出分类类别为车的概率大于概率阈值的所述稳定目标块,作为所述特定运动目标。
进一步地,计算机设备得到所述特性运动目标后,发出报警指令。其中,所述报警指令可以是声音、震动、光电、图案标识、数字标识中至少一种。
本实施例中,计算机设备获取所述前一帧图像中所述运动目标的二值化图像,以凸显所述运动目标,便于后续准确获取所述特定运动目标;根据所述目标点的坐标信息获取筛选目标块,以去除噪点,提取满足条件的所述运动目标,提高后续得到所述特定运动目标的准确性。将所述前一帧图像中所述筛选目标块的特征信息与所述再前一帧图像中所述筛选目标块的特征信息进行匹配,根据匹配成功次数,得出所述稳定目标块,进一步提取满足条件的所述运动目标,提高后续得到所述特定运动目标的准确性。将所述稳定目标块输入目标检测模型对所述稳定目标块进行分类,得到所述稳定目标块的分类类别和类别概率,获取所述稳定目标块的分类类别为所述特定运动目标,且所述类别概率大于概率阈值的所述稳定目标块,作为所述特定运动目标,通过所述目标检测模型针对性的直接提取出所述特定运动目标,提高对所述特定运动目标跟踪的准确性。
在一个实施例中,如图3所示,所述S220、根据所述目标点的坐标信息获取筛选目标块,包括:
S310、对所述目标点的坐标信息进行数据点聚类,得到初始目标块。
具体地,计算机设备根据所述目标点的坐标信息对所述目标点进行数据点聚类,以所述前一帧图像中的所有目标点的坐标信息为中心,分别建立预设大小的规则几何图形区域,判断任意两个区域之间是否存在重叠区域。若两个区域之间存在重叠区域,则将该两个区域聚类为同一个初始目标块,即合并这两个区域得到一个新的区域,再判断该新的区域与其他区域之间是否存在重叠区域;若两个区域不存在重叠区域,则将两个区域各自聚类为一所述初始目标块。
S320、获取所述初始目标块的像素大小,将所述像素大小满足预设像素阈值的所述初始目标块作为所述筛选目标块。
其中,所述像素大小可以是构成所述初始目标块的像素个数,构成所述初始目标块的长度像素个数*宽度像素个数的数据信息,构成所述初始目标块的长度像素个数/宽度像素个数的数据信息中的至少一种。所述预设像素阈值为对应类型的所述像素大小的限定数值。本实施例中,所述预设像素阈值为20*20,其中,20指像素个数。
具体地,计算机设备将预设像素阈值作为预设特征条件,获取所述初始目标块的像素大小,与所述预设像素阈值进行比较。计算机设备将所述像素个数小于预设像素个数,或者所述长度像素个数*宽度像素个数小于预设长度像素个数*宽度像素个数,或者所述长度像素个数/宽度像素个数大于预设长度像素个数/宽度像素个数的所述初始目标块作为噪声块剔除。计算机设备将所述像素个数大于等于预设像素个数,或者所述长度像素个数*宽度像素个数大于等于预设长度像素个数*宽度像素个数,或者所述长度像素个数/宽度像素个数小于等于预设长度像素个数/宽度像素个数的所述初始目标块作为所述筛选目标块。
本实施例中,计算机设备对所述目标点的坐标信息进行数据点聚类,得到初始目标块,具体以每一所述目标点的坐标信息作为中心建立图形区域,判断图形区域之间是否存在重叠区域,以对每一所述目标点进行聚类,得到初始目标块。进一步根据构成每一所述初始目标块的像素大小,如像素个数、长度像素个数*宽度像素个数、长度像素个数/宽度像素个数与对应的预设特征条件相比,剔除不满足预设特征条件的所述初始目标块,保留满足预设特征条件的所述初始目标块作为所述筛选目标块。实现对所述初始目标块的筛选,去除噪点,得到所述筛选目标块,从而提高实现对最终得到的所述特定运动目标的准确跟踪。
在一个实施例中,如图4所示,所述S230、将所述前一帧图像中的筛选目标块与再前一帧图像中的筛选目标块进行匹配,得到稳定目标块,包括:
S410、获取所述前一帧图像中的筛选目标块的中心点与所述再前一帧图像中筛选目标块的中心点的X坐标差值,和Y坐标差值。
S420、当所述X坐标差值小于X预设值,且所述Y坐标差值小于Y预设值,则确定所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块匹配成功。
具体地,计算机设备获取所述前一帧图像中的筛选目标块中心点与所述再前一帧图像中筛选目标块的中心点在X轴上的X坐标差值,以及在Y轴上的Y坐标差值,以根据所述X坐标差值和所述Y坐标差值确定所述前一帧图像中的筛选目标块与所述再前一帧图像中的筛选目标块是否匹配。若存在所述前一帧图像中的所述筛选目标块只与所述再前一帧图像中的一筛选目标块的所述X坐标差值小于X预设值,且所述Y坐标差值小于Y预设值,则确定所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块匹配成功。若每一所述前一帧图像中的所述筛选目标块与所述再前一帧图像中的一筛选目标块的所述X坐标差值均大于等于X预设值,或所述Y坐标差值均大于等于Y预设值,则确定所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块匹配失败,剔除对应的所述前一帧图像中的筛选目标块。若存在所述前一帧图像中的所述筛选目标块与所述再前一帧图像中的多个筛选目标块的所述X坐标差值小于X预设值,且所述Y坐标差值小于Y预设值,则须通过所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块之间的归一化互相关值(NCC值)进一步进行匹配。获取所述再前一帧图像中筛选目标块与所述前一帧筛选目标块之间的NCC值最大的目标块作为所述再前一帧图像中与对应所述前一帧图像中匹配的所述筛选目标块,进而匹配成功。
其中,NCC值满足下述公式:
其中,I1和I2分别标识两个目标块对应的图像区域,Θ表示点乘运算。
S430、获取所述前一帧图像中的每个筛选目标块与所述再前一帧图像中的筛选目标块配成功的次数,作为所述前一帧图像中的每个筛选目标块对应的互联帧数。
S440、获取所述互联帧数大于等于预设互联阈值对应的所述前一帧图像中的筛选目标块,作为所述稳定目标块。
具体地,计算机设备通过获取所述前一帧图像中的每个筛选目标块与所述再前一帧图像中的筛选目标块配成功的次数,作为所述互联帧数,将所述互联帧数大于等于所述预设互联阈值对应的所述前一帧图像中的筛选目标块作为所述稳定目标块,从而多个所述筛选目标块中进一步确定所述稳定目标块。
本实施例中,计算机设备通过获取所述前一帧图像中的筛选目标块的中心点与所述再前一帧图像中筛选目标块的中心点的X坐标差值,和Y坐标差值,将所述X坐标差值与X预设值比较,将所述Y坐标差值与Y预设值比较,以得出所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块是否匹配成功,进一步获取所述前一帧图像中的同一筛选目标块在与所述再前一帧图像中的筛选目标块匹配成功的次数,以得到成功匹配次数大于所述预设互联阈值的所述前一帧图像中的筛选目标块,作为所述稳定目标块。通过上述方法选择得出在监控器拍摄的视频中稳定存在的运动目标,进一步提高了目标跟踪的准确性。
在一个实施例中,如图5所示,所述S140、根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像,包括:
S510、获取所述特定运动目标的中心点在所述前一帧图像中的坐标,作为所述特定运动目标的初始坐标。
S520、获取所述初始坐标相对于所述前一帧图像的中心点的脱靶量。
其中,所述脱靶量包括所述初始坐标的X坐标和Y坐标相对于所述前一帧图像的中心点的偏移距离和偏移方向。
具体地,如图6所示,点O(X0,Y0)为所述前一帧图像的中心点,点P为所述特定运动目标的中心点,(X1,Y1)为所述特定运动目标的初始坐标,计算机设备以点O为原点,建立坐标系,得到四象限区域,可知所述初始坐标(点P(X1,Y1))位于第二象限,所述初始坐标(点P(X1,Y1))的X坐标相对于所述前一帧图像的中心点(点O(X0,Y0))的偏移距离为|X1-X0|,偏移方向为X轴负向,所述初始坐标(点P(X1,Y1))的Y坐标相对于所述前一帧图像的中心点(点O(X0,Y0))的偏移距离为|Y1-Y0|,偏移方向为Y轴正向。
S530、将所述初始方位沿所述偏移方向的反向向靠近所述前一帧图像的中心点的方向调整预设距离,得到所述下一方位。
其中,所述预设距离由所述偏移距离确定。
具体地,继续参阅图6,计算机设备根据点P相对点O的X坐标偏移距离|X1-X0|得到预设距离x,根据点P相对点O的Y坐标偏移距离|Y1-Y0|得到预设距离y。计算机设备控制监控器在X轴方向上,将所述初始方位沿X轴正向向靠近所述当前帧图像的中心点的方向调整预设距离x,计算机设备控制监控器在Y轴方向上,将所述初始方位沿Y轴负向向靠近所述前一帧帧图像的中心点的方向调整预设距离y,将所述初始方位经过X轴和Y轴上的调整后,得到所述下一方位M。
S540、获取在所述下一方位下所拍摄的所述下一帧图像。
具体地,计算机设备控制监控器以朝向所述下一方位作为拍摄角度,拍摄视频。计算机设备获取监控器所拍摄的视频中的第一帧图像作为所述下一帧图像。
进一步地,计算机设备可将每一帧图像中所述特定运动目标的脱靶量发送至客户端,供用户参考。
本实施例中,计算机设备根据获取所述初始坐标相对于所述前一帧图像的中心点分别在X轴和Y轴上的偏移距离和偏移方向,控制监控器的拍摄角度,向靠近所述前一帧图像的中线点的位置移动,得到所述下一方位。计算机设备控制监控器朝向所述下一方位继续拍摄视频,并将所拍摄视频中的第一帧图像作为所述下一帧图像,以此使得目标跟踪过程中所述特定运动目标始终位于靠近所拍摄图像的中心点的区域,以凸显所要跟踪的所述特定运动目标,从而实现对所述特定运动目标持续针对性的稳定跟踪。
在一个实施例中,如图7所示,所述S150、根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标,包括:
S710、在所述前一帧图像中,获取包括所述特征运动目标的预设大小的初始区域。
其中,所述初始区域可以是规则的几何图形,如圆形,矩形。
S720、根据所述初始区域的图像特征构建初始模型。
具体地,计算机设备在所述前一帧图像中,以所述特征运动目标的初始坐标为中心点,获取预设大小的矩形区域,作为所述初始区域,提取所述初始区域的图像特征,如轮廓特征、像素特征、纹理特征至少一种,构建表征该初始区域中所述图像特征的所述初始模型。
S730、在所述下一帧图像中,以所述初始坐标为中心,按预设规格获取候选区域。
其中,所述候选区域可以是规则的几何图形,如圆形,矩形。
S740、在所述候选区域中,获取所述预设大小的候选子区域。
S750、根据所述候选子区域的图像特征构建候选模型。
其中,每一所述候选子区域对应一所述候选模型。
具体地,计算机设备在所述下一帧图像中,以所述特征运动目标的初始坐标为中心点,获取所述预设规格的矩形区域,作为所述候选区域。计算机设备进一步在所述候选区域内,获取与所述初始区域相同所述预设大小的矩形区域,作为所述候选子区域。计算机设备可从所述候选区域中获取得到多个所述候选子区域,提取每一所述候选子区域的图像特征,如轮廓特征、像素特征、纹理特征至少一种,构建表征对应候选子区域中所述图像特征的所述候选模型。
S760、获取所述初始模型与每一所述候选模型之间的模型相似度;
S770、将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标。
其中,所述模型相似度可用于表征构建不同模型的图像特征之间的相似度。所述模型相似度越高,构建不同模型的所述图像特征之间的相似度就越高,所述模型相似度越低,构建不同模型的所述图像特征之间的相似度就越低。
具体地,计算机设备获取所述初始模型分别与多个所述候选模型之间的模型相似度,将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标。所述模型相似度最高的所述候选模型对应的所述候选子区域的图像特征,与所述初始区域的图像特征相似度最高,该候选子区域即为所述特定运动目标在所述下一帧图像中可能出现的概率最大的区域。
S780、获取所述特定候选目标的中心点在所述下一帧图像中的坐标,作为所述特定运动目标的下一坐标。
具体地,计算机设备获取所述特定候选目标的几何中心作为所述特定候选目标的中心点,获取该中心点在所述下一帧图像中的坐标,作为所述特定运动目标的所述下一坐标。
本实施例中,计算机设备在所述前一帧图像中,获取包括所述特征运动目标的预设大小的初始区域,根据所述初始区域的图像特征构建初始模型;在所述下一帧图像中,以所述初始坐标为中心,按预设规格获取候选区域,在所述候选区域中,获取所述预设大小的候选子区域,作为所述特定运动目标在所述下一帧图像中可能出现的区域,根据所述候选子区域的图像特征构建候选模型;再获取根所述初始模型与所述候选模型之间的模型相似度,将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标,获取所述特定候选目标的几何中心作为所述特定候选目标的中心点,获取该中心点在所述下一帧图像中的坐标,作为所述特定运动目标的所述下一坐标。这种以前一帧得到的所述特定运动目标的坐标作为确定后一帧图像中所述特定运动目标可能出现区域的预测依据,再获取根据图像特所构建的模型之间的模型相似度,将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标的过程,避免了为确定所述特定运动目标在所述下一帧图像中可能出现的区域,而对每帧图像中所有区域进行检测,减少了检测的运算量,提高了检测效率,从而高了整体的目标跟踪效率。
在一个实施例中,在所述S770、将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标之前,还包括:
判断所述模型相似度中是否存在大于模型相似度阈值的所述模型相似度;
若是,则执行所述将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标的步骤;
若否,则执行所述接收运动目标的初始方位的步骤。
其中,所述模型相似度阈值为构建模型的图像特征的相似度下限。当所述模型相似度小于所述模型相似度阈值时,则认为得到该模型相似度的两模型对应区域的图像特征相似度很低。
具体地,计算机设备通过判断得到的多个所述模型相似度中是否存在大于模型相似度阈值的所述模型相似度。若存在,表征多个所述待选子区域中存在所述特定运动目标可能出现的区域,则执行获取所述待选子区域中存在所述特定运动目标最可能出现的区域作为所述特定候选目标,即执行S770。则若不存在,表征所述待选区域中的任一待选子区域中均没有所述特定运动目标,则判断为跟踪丢失,需重新接受运动目标的初始方位,重新确定所述特定运动目标,重新进行目标跟踪,即执行S110。
进一步地,当跟踪丢失时,计算机设备可发送丢失警告至用户端。其中,所述丢失警告可以是声音、震动、光电、图案标识、数字标识中至少一种。
进一步地,计算机设备还可以对整个目标跟踪过程根据不同的跟踪状态进行不同的标识显示,如接收到运动目标的初始方位时,显示检测标识;得到所述特定运动目标时,显示告警标识;获取所述下一帧图像时,显示跟踪标识;跟踪丢失时,显示丢失标识。
本实施例中,计算机设备通过判断得到的多个所述模型相似度中是否存在大于预设的模型相似度阈值的所述模型相似度,进行跟踪丢失判断,以确定所述待选区域的所述待选子区域中是否存在所述特定运动目标。根据预设的模型相似度进行跟踪丢失判断,可进一步提高对所述特定运动目标的针对性跟踪,并及时发现跟踪目标是否丢失,以重新获取运动目标的初始方位,再重新进行特定运动目标的跟踪,以实现对所述特定运动目标的持续稳定跟踪。
应该理解的是,虽然图1-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供一种目标跟踪装置,所述装置包括:接收模块810、第一获取模块820、检测模块830、第二获取模块840以及跟踪模块850。
所述接收模块810用于接收运动目标的初始方位;
所述第一获取模块820用于获取在所述初始方位下所拍摄的运动目标的前一帧图像;
所述检测模块830用于采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
所述第二获取模块840用于根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;
所述跟踪模块850用于根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
在一个实施例中,所述检测模块830包括:
第一获取单元,用于获取所述前一帧图像中所述运动目标的二值化图像;其中,所述二值化图像由目标点构成;
筛选单元,用于根据所述目标点的坐标信息获取筛选目标块;其中,每一所述筛选目标块用于表征一所述运动目标;
匹配单元,用于将所述前一帧图像中的筛选目标块与再前一帧图像中的筛选目标块进行匹配,得到稳定目标块;
分类单元,用于将所述稳定目标块输入目标检测模型对所述稳定目标块进行分类,得到所述稳定目标块的分类类别和类别概率;其中,所述目标检测模型为通过不同类别的样本图像深度学习训练得到的分类模型;
第二获取单元,用于获取所述稳定目标块的分类类别为所述特定运动目标,且所述类别概率大于概率阈值的所述稳定目标块,作为所述特定运动目标。
在一个实施例中,所述第一获取单元还用于:
当进行空中目标跟踪时,调节所述前一帧图像的对比度,根据不同区域的对比度差异,提取目标轮廓,作为运动目标图像;
当进行地面目标跟踪时,采用背景建模方法去除所述前一帧图像中的地面背景,得到所述运动目标图像;
对所述运动目标图像进行二值化处理,得到所述运动目标的二值化图像。
在一个实施例中,所述筛选单元还用于:
对所述目标点的坐标信息进行数据点聚类,得到初始目标块;
获取所述初始目标块的像素大小,将所述像素大小满足预设像素阈值的所述初始目标块作为所述筛选目标块。
在一个实施例中,所述匹配单元还用于:
获取所述前一帧图像中的筛选目标块的中心点与所述再前一帧图像中筛选目标块的中心点的X坐标差值,和Y坐标差值;
当所述X坐标差值小于X预设值,且所述Y坐标差值小于Y预设值,则确定所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块匹配成功;
获取所述前一帧图像中的每个筛选目标块与所述再前一帧图像中的筛选目标块匹配成功的次数,作为所述前一帧图像中的每个筛选目标块对应的互联帧数;
获取所述互联帧数大于等于预设互联阈值对应的所述前一帧图像中的筛选目标块,作为所述稳定目标块。
在一个实施例中,第二获取模块840包括:
初始坐标单元,用于获取所述特定运动目标的中心点在所述前一帧图像中的坐标,作为所述特定运动目标的初始坐标;
脱靶量单元,用于获取所述初始坐标相对于所述前一帧图像的中心点的脱靶量;其中,所述脱靶量为所述初始坐标的X坐标和Y坐标相对于所述前一帧图像的中心点的偏移距离和偏移方向;
调整方位单元,用于将所述初始方位沿所述偏移方向的反向向靠近所述前一帧图像的中心点的方向调整预设距离,得到所述下一方位;其中,所述预设距离由所述偏移距离确定;
图像获取单元,用于获取在所述下一方位下所拍摄的所述下一帧图像。
在一个实施例中,所述跟踪模块还用于:
在所述前一帧图像中,获取包括所述特征运动目标的预设大小的初始区域;
根据所述初始区域的图像特征构建初始模型;
在所述下一帧图像中,以所述初始坐标为中心,按预设规格获取候选区域;
在所述候选区域中,获取所述预设大小的候选子区域;
根据所述候选子区域的图像特征构建候选模型;其中,每一所述候选子区域对应一所述候选模型;
获取所述初始模型与每一所述候选模型之间的模型相似度;
将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标;
获取所述特定候选目标的中心点在所述下一帧图像中的坐标,作为所述特定运动目标的下一坐标。
在一个实施例中,所述跟踪模块还包括丢失判断单元;
所述丢失判断单元用于判断所述模型相似度中是否存在大于模型相似度阈值的所述模型相似度;
若是,则执行所述将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标的步骤;
若否,则执行所述接收运动目标的初始方位的步骤。
关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪装置方法的限定,在此不再赘述。上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
接收运动目标的初始方位;
获取在所述初始方位下所拍摄的运动目标的前一帧图像;
采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;
根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述前一帧图像中所述运动目标的二值化图像;其中,所述二值化图像由目标点构成;
根据所述目标点的坐标信息获取筛选目标块;其中,每一所述筛选目标块用于表征一所述运动目标;
将所述前一帧图像中的筛选目标块与再前一帧图像中的筛选目标块进行匹配,得到稳定目标块;
将所述稳定目标块输入目标检测模型对所述稳定目标块进行分类,得到所述稳定目标块的分类类别和类别概率;其中,所述目标检测模型为通过不同类别的样本图像深度学习训练得到的分类模型;
获取所述稳定目标块的分类类别为所述特定运动目标,且所述类别概率大于概率阈值的所述稳定目标块,作为所述特定运动目标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当进行空中目标跟踪时,调节所述前一帧图像的对比度,根据不同区域的对比度差异,提取目标轮廓,作为运动目标图像;
当进行地面目标跟踪时,采用背景建模方法去除所述前一帧图像中的地面背景,得到所述运动目标图像;
对所述运动目标图像进行二值化处理,得到所述运动目标的二值化图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对所述目标点的坐标信息进行数据点聚类,得到初始目标块;
获取所述初始目标块的像素大小,将所述像素大小满足预设像素阈值的所述初始目标块作为所述筛选目标块。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述前一帧图像中的筛选目标块的中心点与所述再前一帧图像中筛选目标块的中心点的X坐标差值,和Y坐标差值;
当所述X坐标差值小于X预设值,且所述Y坐标差值小于Y预设值,则确定所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块匹配成功;
获取所述前一帧图像中的每个筛选目标块与所述再前一帧图像中的筛选目标块匹配成功的次数,作为所述前一帧图像中的每个筛选目标块对应的互联帧数;
获取所述互联帧数大于等于预设互联阈值对应的所述前一帧图像中的筛选目标块,作为所述稳定目标块。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述特定运动目标的中心点在所述前一帧图像中的坐标,作为所述特定运动目标的初始坐标;
获取所述初始坐标相对于所述前一帧图像的中心点的脱靶量;其中,所述脱靶量为所述初始坐标的X坐标和Y坐标相对于所述前一帧图像的中心点的偏移距离和偏移方向;
将所述初始方位沿所述偏移方向的反向向靠近所述前一帧图像的中心点的方向调整预设距离,得到所述下一方位;其中,所述预设距离由所述偏移距离确定;
获取在所述下一方位下所拍摄的所述下一帧图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
在所述前一帧图像中,获取包括所述特征运动目标的预设大小的初始区域;
根据所述初始区域的图像特征构建初始模型;
在所述下一帧图像中,以所述初始坐标为中心,按预设规格获取候选区域;
在所述候选区域中,获取所述预设大小的候选子区域;
根据所述候选子区域的图像特征构建候选模型;其中,每一所述候选子区域对应一所述候选模型;
获取所述初始模型与每一所述候选模型之间的模型相似度;
将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标;
获取所述特定候选目标的中心点在所述下一帧图像中的坐标,作为所述特定运动目标的下一坐标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
判断所述模型相似度中是否存在大于模型相似度阈值的所述模型相似度;
若是,则执行所述将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标的步骤;
若否,则执行所述接收运动目标的初始方位的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
接收运动目标的初始方位;
获取在所述初始方位下所拍摄的运动目标的前一帧图像;
采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
根据所述特定运动目标的初始坐标调整拍摄方位,得到下一方位并获取在所述下一方位下所拍摄的下一帧图像;
根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述前一帧图像中所述运动目标的二值化图像;其中,所述二值化图像由目标点构成;
根据所述目标点的坐标信息获取筛选目标块;其中,每一所述筛选目标块用于表征一所述运动目标;
将所述前一帧图像中的筛选目标块与再前一帧图像中的筛选目标块进行匹配,得到稳定目标块;
将所述稳定目标块输入目标检测模型对所述稳定目标块进行分类,得到所述稳定目标块的分类类别和类别概率;其中,所述目标检测模型为通过不同类别的样本图像深度学习训练得到的分类模型;
获取所述稳定目标块的分类类别为所述特定运动目标,且所述类别概率大于概率阈值的所述稳定目标块,作为所述特定运动目标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当进行空中目标跟踪时,调节所述前一帧图像的对比度,根据不同区域的对比度差异,提取目标轮廓,作为运动目标图像;
当进行地面目标跟踪时,采用背景建模方法去除所述前一帧图像中的地面背景,得到所述运动目标图像;
对所述运动目标图像进行二值化处理,得到所述运动目标的二值化图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对所述目标点的坐标信息进行数据点聚类,得到初始目标块;
获取所述初始目标块的像素大小,将所述像素大小满足预设像素阈值的所述初始目标块作为所述筛选目标块。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述前一帧图像中的筛选目标块的中心点与所述再前一帧图像中筛选目标块的中心点的X坐标差值,和Y坐标差值;
当所述X坐标差值小于X预设值,且所述Y坐标差值小于Y预设值,则确定所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块匹配成功;
获取所述前一帧图像中的每个筛选目标块与所述再前一帧图像中的筛选目标块匹配成功的次数,作为所述前一帧图像中的每个筛选目标块对应的互联帧数;
获取所述互联帧数大于等于预设互联阈值对应的所述前一帧图像中的筛选目标块,作为所述稳定目标块。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述特定运动目标的中心点在所述前一帧图像中的坐标,作为所述特定运动目标的初始坐标;
获取所述初始坐标相对于所述前一帧图像的中心点的脱靶量;其中,所述脱靶量为所述初始坐标的X坐标和Y坐标相对于所述前一帧图像的中心点的偏移距离和偏移方向;
将所述初始方位沿所述偏移方向的反向向靠近所述前一帧图像的中心点的方向调整预设距离,得到所述下一方位;其中,所述预设距离由所述偏移距离确定;
获取在所述下一方位下所拍摄的所述下一帧图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
在所述前一帧图像中,获取包括所述特征运动目标的预设大小的初始区域;
根据所述初始区域的图像特征构建初始模型;
在所述下一帧图像中,以所述初始坐标为中心,按预设规格获取候选区域;
在所述候选区域中,获取所述预设大小的候选子区域;
根据所述候选子区域的图像特征构建候选模型;其中,每一所述候选子区域对应一所述候选模型;
获取所述初始模型与每一所述候选模型之间的模型相似度;
将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标;
获取所述特定候选目标的中心点在所述下一帧图像中的坐标,作为所述特定运动目标的下一坐标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
判断所述模型相似度中是否存在大于模型相似度阈值的所述模型相似度;
若是,则执行所述将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标的步骤;
若否,则执行所述接收运动目标的初始方位的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标跟踪方法,其特征在于,所述方法包括:
接收运动目标的初始方位;
获取在所述初始方位下所拍摄的运动目标的前一帧图像;
采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
获取所述特定运动目标的中心点在所述前一帧图像中的坐标,作为所述特定运动目标的初始坐标;
获取所述初始坐标相对于所述前一帧图像的中心点的脱靶量;其中,所述脱靶量为所述初始坐标的X坐标和Y坐标相对于所述前一帧图像的中心点的偏移距离和偏移方向;
将所述初始方位沿所述偏移方向的反向向靠近所述前一帧图像的中心点的方向调整预设距离,得到所述下一方位;其中,所述预设距离由所述偏移距离确定;
获取在所述下一方位下所拍摄的所述下一帧图像;
根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
2.根据权利要求1所述的方法,其特征在于,所述采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标,包括:
获取所述前一帧图像中所述运动目标的二值化图像;其中,所述二值化图像由目标点构成;
根据所述目标点的坐标信息获取筛选目标块;其中,每一所述筛选目标块用于表征一所述运动目标;
将所述前一帧图像中的筛选目标块与再前一帧图像中的筛选目标块进行匹配,得到稳定目标块;
将所述稳定目标块输入目标检测模型对所述稳定目标块进行分类,得到所述稳定目标块的分类类别和类别概率;其中,所述目标检测模型为通过不同类别的样本图像深度学习训练得到的分类模型;
获取所述稳定目标块的分类类别为所述特定运动目标,且所述类别概率大于概率阈值的所述稳定目标块,作为所述特定运动目标。
3.根据权利要求2所述的方法,其特征在于,所述获取所述前一帧图像中所述运动目标的二值化图像,包括:
当进行空中目标跟踪时,调节所述前一帧图像的对比度,根据不同区域的对比度差异,提取目标轮廓,作为运动目标图像;
当进行地面目标跟踪时,采用背景建模方法去除所述前一帧图像中的地面背景,得到所述运动目标图像;
对所述运动目标图像进行二值化处理,得到所述运动目标的二值化图像。
4.根据权利要求2所述的方法,其特征在于,所述根据所述目标点的坐标信息获取筛选目标块,包括:
对所述目标点的坐标信息进行数据点聚类,得到初始目标块;
获取所述初始目标块的像素大小,将所述像素大小满足预设像素阈值的所述初始目标块作为所述筛选目标块。
5.根据权利要求2所述的方法,其特征在于,所述将所述前一帧图像中的筛选目标块与所述再前一帧图像中的筛选目标块进行匹配,得到稳定目标块,包括:
获取所述前一帧图像中的筛选目标块的中心点与所述再前一帧图像中筛选目标块的中心点的X坐标差值,和Y坐标差值;
当所述X坐标差值小于X预设值,且所述Y坐标差值小于Y预设值,则确定所述前一帧图像中的筛选目标块与所述再前一帧图像中筛选目标块匹配成功;
获取所述前一帧图像中的每个筛选目标块与所述再前一帧图像中的筛选目标块匹配成功的次数,作为所述前一帧图像中的每个筛选目标块对应的互联帧数;
获取所述互联帧数大于等于预设互联阈值对应的所述前一帧图像中的筛选目标块,作为所述稳定目标块。
6.根据权利要求1所述的方法,其特征在于,所述根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标,包括:
在所述前一帧图像中,获取包括所述特定运动目标的预设大小的初始区域;
根据所述初始区域的图像特征构建初始模型;
在所述下一帧图像中,以所述初始坐标为中心,按预设规格获取候选区域;
在所述候选区域中,获取所述预设大小的候选子区域;
根据所述候选子区域的图像特征构建候选模型;其中,每一所述候选子区域对应一所述候选模型;
获取所述初始模型与每一所述候选模型之间的模型相似度;
将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标;
获取所述特定候选目标的中心点在所述下一帧图像中的坐标,作为所述特定运动目标的下一坐标。
7.根据权利要求6所述的方法,其特征在于,所述将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标之前,还包括:
判断所述模型相似度中是否存在大于模型相似度阈值的所述模型相似度;
若是,则执行所述将所述模型相似度最高的所述候选模型对应的所述候选子区域,作为特定候选目标的步骤;
若否,则执行所述接收运动目标的初始方位的步骤。
8.一种目标跟踪装置,其特征在于,所述装置包括:
接收模块,用于接收运动目标的初始方位;
第一获取模块,用于获取在所述初始方位下所拍摄的运动目标的前一帧图像;
检测模块,用于采用深度学习算法从所述前一帧图像的运动目标中确定特定运动目标;
第二获取模块,用于获取所述特定运动目标的中心点在所述前一帧图像中的坐标,作为所述特定运动目标的初始坐标;获取所述初始坐标相对于所述前一帧图像的中心点的脱靶量;其中,所述脱靶量为所述初始坐标的X坐标和Y坐标相对于所述前一帧图像的中心点的偏移距离和偏移方向;将所述初始方位沿所述偏移方向的反向向靠近所述前一帧图像的中心点的方向调整预设距离,得到所述下一方位;其中,所述预设距离由所述偏移距离确定;获取在所述下一方位下所拍摄的所述下一帧图像;
跟踪模块,用于根据所述初始坐标,获取所述特定运动目标在所述下一帧图像中的下一坐标。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010218506.5A CN111539986B (zh) | 2020-03-25 | 2020-03-25 | 目标跟踪方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010218506.5A CN111539986B (zh) | 2020-03-25 | 2020-03-25 | 目标跟踪方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111539986A CN111539986A (zh) | 2020-08-14 |
CN111539986B true CN111539986B (zh) | 2024-03-22 |
Family
ID=71975091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010218506.5A Active CN111539986B (zh) | 2020-03-25 | 2020-03-25 | 目标跟踪方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111539986B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112288098A (zh) * | 2020-11-02 | 2021-01-29 | 平安数字信息科技(深圳)有限公司 | 预训练模型的获取方法、装置以及计算机设备 |
CN112631333B (zh) * | 2020-12-25 | 2024-04-12 | 南方电网数字电网研究院有限公司 | 无人机的目标跟踪方法、装置及图像处理芯片 |
CN113420739B (zh) * | 2021-08-24 | 2022-10-18 | 北京通建泰利特智能系统工程技术有限公司 | 基于神经网络的智能应急监控方法、系统和可读存储介质 |
CN114004866B (zh) * | 2022-01-04 | 2022-03-22 | 天津大学四川创新研究院 | 一种基于图像相似度差异的蚊虫识别系统与方法 |
CN114677443B (zh) * | 2022-05-27 | 2022-08-19 | 深圳智华科技发展有限公司 | 光学定位方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
CN108898057A (zh) * | 2018-05-25 | 2018-11-27 | 广州杰赛科技股份有限公司 | 跟踪目标检测的方法、装置、计算机设备和存储介质 |
CN110490902A (zh) * | 2019-08-02 | 2019-11-22 | 西安天和防务技术股份有限公司 | 应用于智慧城市的目标跟踪方法、装置、计算机设备 |
WO2020052319A1 (zh) * | 2018-09-14 | 2020-03-19 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、介质以及设备 |
-
2020
- 2020-03-25 CN CN202010218506.5A patent/CN111539986B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
CN108898057A (zh) * | 2018-05-25 | 2018-11-27 | 广州杰赛科技股份有限公司 | 跟踪目标检测的方法、装置、计算机设备和存储介质 |
WO2020052319A1 (zh) * | 2018-09-14 | 2020-03-19 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、介质以及设备 |
CN110490902A (zh) * | 2019-08-02 | 2019-11-22 | 西安天和防务技术股份有限公司 | 应用于智慧城市的目标跟踪方法、装置、计算机设备 |
Non-Patent Citations (1)
Title |
---|
赵德超 ; 彭力 ; .移动机器人实时目标跟踪系统设计与实现.传感器与微系统.2017,(12),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111539986A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539986B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
Amato et al. | Deep learning for decentralized parking lot occupancy detection | |
Chen et al. | High-resolution vehicle trajectory extraction and denoising from aerial videos | |
Min et al. | A new approach to track multiple vehicles with the combination of robust detection and two classifiers | |
US9754184B2 (en) | Feature density object classification, systems and methods | |
Braun et al. | Pose-rcnn: Joint object detection and pose estimation using 3d object proposals | |
Cai et al. | Saliency-based pedestrian detection in far infrared images | |
US9576201B2 (en) | Method and apparatus for classifying pixels in an input image and image processing system | |
Gerónimo et al. | 2D–3D-based on-board pedestrian detection system | |
Ogale | A survey of techniques for human detection from video | |
Hayat et al. | An RGB–D based image set classification for robust face recognition from Kinect data | |
CN109035295B (zh) | 多目标跟踪方法、装置、计算机设备和存储介质 | |
CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
Wang et al. | A vision-based road edge detection algorithm | |
Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
Xia et al. | Real-time infrared pedestrian detection based on multi-block LBP | |
Kim et al. | Segment-based region of interest generation for pedestrian detection in far-infrared images | |
US12094186B2 (en) | Information processing device, information processing method, and program recording medium | |
Tao et al. | Smoke vehicle detection based on multi-feature fusion and hidden Markov model | |
CN108830240A (zh) | 疲劳驾驶状态检测方法、装置、计算机设备和存储介质 | |
CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
Zhang et al. | Fast moving pedestrian detection based on motion segmentation and new motion features | |
Teutsch | Moving object detection and segmentation for remote aerial video surveillance | |
Lakshmi et al. | Pedestrian detection in thermal images: An automated scale based region extraction with curvelet space validation | |
Arthi et al. | Object detection of autonomous vehicles under adverse weather conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |