CN110263847A - 轨迹获取方法、装置、计算机设备及存储介质 - Google Patents
轨迹获取方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110263847A CN110263847A CN201910527752.6A CN201910527752A CN110263847A CN 110263847 A CN110263847 A CN 110263847A CN 201910527752 A CN201910527752 A CN 201910527752A CN 110263847 A CN110263847 A CN 110263847A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- target object
- track
- track characteristic
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种轨迹获取方法、装置、计算机设备及存储介质,该方法包括:获取具有时序的图像帧序列;从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;对各所述初始特征图进行特征提取,得到深度特征图;将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。本申请的方案,能够提高轨迹特征获取的准确性。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种轨迹获取方法、装置、计算机设备及存储介质。
背景技术
随着科学技术的飞速发展,大量先进技术不断涌现。图像识别技术即为目前比较重要的一项技术,在日常生活和工作中的应用越来越广泛。通常,通过图像识别技术,可以识别目标对象的轨迹。
传统方法中,是使用一个完整的卷积神经网络通过深层卷积处理,输出图像序列中每一帧图像的单图特征,然后再对单图特征进行融合得到轨迹特征。由于,传统方法在在网络深层提取特征后再进行融合,挖掘的更多的是对象自身的特征,所以,挖掘的信息不够全面。进而,导致生成的轨迹特征不够准确。
发明内容
基于此,有必要针对传统方法生成的轨迹特征不够准确的问题,提供一种轨迹获取方法、装置、计算机设备及存储介质。
一种轨迹获取方法,所述方法包括:
获取具有时序的图像帧序列;
从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;
按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;
对各所述初始特征图进行特征提取,得到深度特征图;
将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;
融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
在其中一个实施例中,所述从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图包括:
将所述图像帧序列中的各图像帧,分别输入预先训练的深度网络模型的浅层网络层中,通过所述浅层网络层分别对各图像帧进行卷积处理,得到所述目标对象的初始特征图。
在其中一个实施例中,所述深度网络模型为残差网络模型;所述浅层网络层中包括第一残差块和第二残差块;
所述通过所述浅层网络层分别对各图像帧进行卷积处理,得到所述目标对象的初始特征图包括:
通过所述第一残差块分别对各图像帧进行卷积处理;
将所述第一残差块卷积处理的结果,输入所述第二残差块进行卷积处理,得到所述目标对象的初始特征图。
在其中一个实施例中,所述对各所述初始特征图进行特征提取,得到深度特征图包括:
将各所述初始特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层分别对各所述初始特征图进行卷积处理,得到所述目标对象的深度特征图。
在其中一个实施例中,所述融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征包括:
将所述第一轨迹特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层对所述第一轨迹特征图进行卷积处理;
对卷积处理后的轨迹特征图和所述第二轨迹特征图进行池化处理,融合得到最终的轨迹特征图;
根据最终的所述轨迹特征图,确定所述目标对象的轨迹特征。
在其中一个实施例中,所述根据最终的所述轨迹特征图,确定所述目标对象的轨迹特征包括:
将最终的所述轨迹特征图输入所述深度网络模型的全局池化层中,进行平均池化处理;
将平均池化处理后的轨迹特征图输入全连接层中,输出所述目标对象的轨迹特征向量。
在其中一个实施例中,所述将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图包括:
提取各所述深度特征图的特征;
根据提取的所述特征,确定各所述深度特征图的特征权重;
将各所述深度特征图按相应特征权重进行加权平均,得到所述目标对象的第二轨迹特征图。
在其中一个实施例中,所述根据提取的所述特征,确定各所述深度特征图的特征权重包括:
根据提取的特征对各所述深度特征图进行分类,得到各所述深度特征图属于所述目标对象的分类概率;
根据所述分类概率,确定各所述深度特征图的特征权重;所述特征权重的大小与所述分类概率正相关。
在其中一个实施例中,所述方法还包括:
获取待检索的视频中各候选对象的轨迹特征;
将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配;
将匹配的轨迹特征在所述视频中所属的候选对象,识别为所述目标对象。
在其中一个实施例中,所述轨迹特征为轨迹特征向量;
所述将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配包括:
确定目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离;
根据所述距离,确定所述目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度;
判定相似度满足预设相似条件的轨迹特征向量之间相匹配。
在其中一个实施例中,所述获取具有时序的图像帧序列包括:
获取上传的待识别视频;
确定所述待识别视频中的目标对象;
解析所述待识别视频,得到具有时序的、且包括所述目标对象的图像帧序列。
一种轨迹获取装置,所述装置包括:
获取模块,用于获取具有时序的图像帧序列;
特征提取模块,用于从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;
融合模块,用于按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;
所述特征提取模块还用于对各所述初始特征图进行特征提取,得到深度特征图;
所述融合模块还用于将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
获取具有时序的图像帧序列;
从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;
按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;
对各所述初始特征图进行特征提取,得到深度特征图;
将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;
融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
获取具有时序的图像帧序列;
从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;
按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;
对各所述初始特征图进行特征提取,得到深度特征图;
将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;
融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
上述轨迹获取方法、装置、计算机设备及存储介质,从具有时序的各图像帧中提取到目标对象的初始特征图后,可以先对初始特征图按时序融合,由于初始特征图是在浅层提取的特征,所以,初始特征图的时序融合,能够较好地体现目标对象的轨迹信息。进而,对各初始特征图进一步进行特征提取,得到深度特征图,将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图。由于,深度特征图,是在初始特征图的基础上进一步进行特征挖掘得到的,所以,由深度特征图进行时序融合得到的第二轨迹特征图,在体现目标对象的轨迹以外,能够较充分地挖掘目标对象的特征。因此,融合第一轨迹特征图和第二轨迹特征图,得到目标对象的轨迹特征,能够既保证对目标对象的特征的深度挖掘,又能够充分挖掘目标对象的轨迹信息,因此,最终融合得到的目标对象的轨迹特征更加准确。
附图说明
图1为一个实施例中轨迹获取方法的应用场景图;
图2为一个实施例中轨迹获取方法的流程示意图;
图3为一个实施例中深度网络模型的结构框图;
图4为一个实施例中确定特征权重的示意图;
图5为一个实施例中目标对象检索的界面示意图;
图6为另一个实施例中轨迹获取方法的流程示意图;
图7为另一个实施例中轨迹获取装置的框图;
图8为另一个实施例中轨迹获取装置的框图;
图9为一个实施例中计算机设备的框图;
图10为另一个实施例中计算机设备的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中轨迹获取方法的应用场景图。参照图1,该应用场景中包括通过网络连接的终端110和服务器120。终端110可以是智能电视机、智能音箱、台式计算机或移动终端,移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理和穿戴式设备等中的至少一种。服务器120可以用独立的服务器或者是多个物理服务器组成的服务器集群来实现。
用户可以通过终端110上传具有时序的图像帧序列至服务器120。服务器120可以获取具有时序的图像帧序列;从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;对各所述初始特征图进行特征提取,得到深度特征图;将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
可以理解,在其他实施例中,服务器120也可以从本地直接获取具有时序的图像帧序列,对此不做限定。
图2为一个实施例中轨迹获取方法的流程示意图。本实施例中的该轨迹获取方法可以应用于计算机设备,计算机设备可以是终端或服务器,现主要以计算机设备为图1中的服务器120进行举例说明。参照图2,该方法具体包括如下步骤:
S202,获取具有时序的图像帧序列。
其中,时序,是指时间顺序。图像帧序列,包括多个图像帧。需要说明的是,具有时序的图像帧序列,可以是时序上连续的多个图像帧,也可以是具有时间顺序、但不限于必须连续的图像帧。
具有时序的图像帧序列,可以是专门的图片,也可以是视频中的图像帧。可以理解,专门的图片,是指以图片形式呈现的、一张张独立的静态的图片。专门的图片与视频的呈现形式不同,因为,视频呈现给用户时,并不是一张张独立的图片,而是连续的动态画面。
在一个实施例中,计算机设备可以获取视频,并对视频进行解析,得到具有时序的图像帧序列。在其他实施例中,计算机设备也可以直接获取呈现为图片形式的具有时序的多个独立的图像帧。
在一个实施例中,步骤S202包括:获取上传的待识别视频;确定所述待识别视频中的目标对象;解析所述待识别视频,得到具有时序的、且包括所述目标对象的图像帧序列。
其中,待识别视频,是包括目标对象的、且用于从中识别出目标对象的轨迹的视频。目标对象,是需要确定轨迹的对象。目标对象可以是人、动物或物品等。这里对目标对象的形式不做限定。
具体地,当计算机设备为服务器时,服务器可以直接获取终端上传的具有时序的图像帧序列。当计算机设备为终端时,可以在终端展示上传界面,用户可以在上传界面上传待识别视频。计算机设备可以确定待识别视频中的目标对象,并解析待识别视频,得到具有时序的、且包括目标对象的图像帧序列。
可以理解,用户在上传该待识别视频时,可以指定其中的目标对象,计算机设备因而可以获取从待识别视频中指定的目标对象。计算机设备也可以按照预设规则,从待识别视频中确定目标对象。比如,预设规则为目标对象为人或者位于视频画面预设范围内的人,那么,计算机设备则可以确定待识别视频中的人或者位于视频画面预设范围内的人,作为目标对象。
在其他实施例中,计算机设备也可以获取在上传界面上传的多张具有时序的图像帧。比如,用户可以选择多张具有时序的、且包括目标对象的图片进行上传操作,计算机设备进而获取具有时序的图像帧序列。
S204,从图像帧序列的各图像帧中提取目标对象的特征,得到目标对象的初始特征图。
具体地,针对获取的每一个图像帧,计算机设备可以先对该图像帧进行图像级别的特征提取处理,得到目标对象的初始特征图。
可以理解,初始特征图,是图像级别的特征图。图像级别的特征图,是指针对单一图像帧进行特征提取得到的特征图。即,图像级别的特征提取处理,是指,以图像帧为输入,以初始特征图为输出的特征提取处理过程。
S206,按时序融合各初始特征图,得到目标对象的第一轨迹特征图。
其中,轨迹特征图,是用于反映目标对象的运动轨迹的特征图。第一轨迹特征图,是根据初始特征图进行融合得到的轨迹特征图。
可以理解,轨迹特征图,是目标对象的轨迹级别的特征图。轨迹级别的特征图,是指由多帧特征图融合成的、且能够反映目标对象的运动轨迹的特征图。
由于,在步骤S204中,计算机设备针对每一个图像帧都提取了目标对象的初始特征图,因此,每个图像帧都对应有一个目标对象的初始特征图。进而,计算机设备可以按照各图像帧的时序,将各图像帧所对应的初始特征图进行融合,得到目标对象的第一轨迹特征图。
可以理解,由于每个图像帧都具有初始特征图,而目标对象在不同时间可能处于不同的位置,因此,将各个初始特征图按时序进行融合后,能够得到用于反映目标对象的运动轨迹的第一轨迹特征图。
在一个实施例中,步骤S206包括:提取各初始特征图的特征;根据提取的特征,确定各初始特征图的特征权重;将各初始特征图按相应特征权重进行加权平均,得到目标对象的第一轨迹特征图。
具体地,计算机设备可以将初始特征图输入预先训练的神经网络模型中,提取每一张初始特征图的特征,根据提取的特征,确定各初始特征图的特征权重,然后将各初始特征图按相应特征权重进行加权平均,得到目标对象的第一轨迹特征图。
在一个实施例中,预先训练的神经网络模型,可以是帧级网络模型。帧级网络模型,是以帧为级别,提取每帧图像的特征的神经网络模型。
在一个实施例中,根据提取的特征,确定各初始特征图的特征权重包括:根据提取的特征对各初始特征图进行分类,得到各初始特征图属于目标对象的分类概率;根据分类概率,确定各初始特征图的特征权重;特征权重的大小与分类概率正相关。
具体地,计算机设备中存储了预先训练的分类器,该分类器可以是帧级分类器。帧级分类器,即,以帧为级别的,对各帧进行分类的机器学习模型。
计算机设备可以使用预先训练的分类器,根据提取的特征对各初始特征图进行分类,得到各初始特征图属于目标对象的分类概率。根据分类概率,确定各初始特征图的特征权重。其中,特征权重的大小与分类概率正相关。分类概率越大,表明初始特征图属于目标对象的概率越大,则初始特征图越能体现目标对象的特征,因此,初始特征图的特征权重也就越大;反之,分类概率越小,表明初始特征图属于目标对象的概率越小,则初始特征图在体现目标对象的特征上贡献的越小,因此,初始特征图的特征权重也就越小。
S208,对各初始特征图进行特征提取,得到深度特征图。
其中,深度特征图,是在初始特征图的基础上,进行特征提取处理所得到的特征图。可以理解,深度特征图,相当于在初始特征图的基础上继续进行了深层的特征提取处理,因此,深度特征图,相较于初始特征图而言,能够挖掘更加的丰富、准确的特征。
具体地,计算机设备可以对各初始特征图进一步进行卷积处理,以进行深层的特征提取处理,得到深度特征图。
S210,将各深度特征图按时序融合,得到目标对象的第二轨迹特征图。
其中,第二轨迹特征图,是根据深度特征图进行融合得到的轨迹特征图。可以理解,第二轨迹特征图,也是轨迹级别的特征图。
由于,在步骤S208中,计算机设备针对每一个初始特征图都提取了目标对象的深度特征图,因此,每个初始特征图都对应有一个目标对象的深度特征图。而每个初始特征图都与相应图像帧的时序对应,进而,计算机设备可以按照各图像帧的时序,将各深度特征图进行融合,得到目标对象的第二轨迹特征图。
同样地,由于目标对象在不同时间可能处于不同的位置,所以,将目标对象在不同时间的各个深度特征图按时序进行融合后,能够得到用于反映目标对象的运动轨迹的第二轨迹特征图。
S212,融合第一轨迹特征图和第二轨迹特征图,得到目标对象的轨迹特征。
可以理解,当第一轨迹特征图和第二轨迹特征图的数据格式(比如,数据维度)一致时,计算机设备则可以将第一轨迹特征图和第二轨迹特征图直接进行融合,得到目标对象的轨迹特征。
当第一轨迹特征图和第二轨迹特征图的数据格式不一致时,计算机设备则可以将第一轨迹特征图和第二轨迹特征图的数据格式统一一致,然后,将格式一致的第一轨迹特征图和第二轨迹特征图进行融合,得到目标对象的轨迹特征。
具体地,计算机设备可以通过池化处理,将第一轨迹特征图和第二轨迹特征图进行融合,得到目标对象的轨迹特征。
在一个实施例中,计算机设备可以通过平均池化处理或最大池化处理,将第一轨迹特征图和第二轨迹特征图进行融合,得到目标对象的轨迹特征。
其中,平均池化处理,是指对邻域内特征点求平均值。最大池化处理,是指对领域内特征点取最大值。
上述轨迹获取方法中,从具有时序的各图像帧中提取到目标对象的初始特征图后,可以先对初始特征图按时序融合,由于初始特征图是在浅层提取的特征,所以,初始特征图的时序融合,能够较好地体现目标对象的轨迹信息。进而,对各初始特征图进一步进行特征提取,得到深度特征图,将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图。由于,深度特征图,是在初始特征图的基础上进一步进行特征挖掘得到的,所以,由深度特征图进行时序融合得到的第二轨迹特征图,在体现目标对象的轨迹以外,能够较充分地挖掘目标对象的特征。因此,融合第一轨迹特征图和第二轨迹特征图,得到目标对象的轨迹特征,能够既保证对目标对象的特征的深度挖掘,又能够充分挖掘目标对象的轨迹信息,因此,最终融合得到的目标对象的轨迹特征更加准确。
在一个实施例中,步骤S204包括:将所述图像帧序列中的各图像帧,分别输入预先训练的深度网络模型的浅层网络层中,通过浅层网络层分别对各图像帧进行卷积处理,得到目标对象的初始特征图。
其中,深度网络模型,是指包括浅层网络层和深层网络层的多层次的卷积网络模型。
在一个实施例中,深度网络模型可以包括残差网络模型、vgg网络模型(VisualGeometry Group Network,牛津大学计算机视觉组发布的卷积网络模型)和密集卷积网络模型(densenet)中的至少一个。
可以理解,浅层网络层和深层网络层,是相对的概念,浅层网络层相较于深层网络层而言,处于深度网络模型的浅层,越往深度网络模型的下层走,越处于深层网络层。深层网络层,可以是深度网络模型中除浅层网络层以外的网络层。
在一个实施例中,浅层网络层,可以是深度网络模型中的前预设层数的网络层。
具体地,计算机设备可以将所述图像帧序列中的各图像帧,分别输入预先训练的深度网络模型的浅层网络层中,将浅层网络层中的前一网络层对图像帧卷积处理的结果,输入浅层网络层中的后一网络层进行卷积处理,直至浅层网络层中的最后一网络层,输出目标对象的初始特征图。
在一个实施例中,深度网络模型可以包括融合模型。计算机设备可以通过融合模型,按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图。
在一个实施例中,所述深度网络模型为残差网络模型。所述浅层网络层中包括第一残差块和第二残差块。本实施例中,通过所述浅层网络层分别对各图像帧进行卷积处理,得到所述目标对象的初始特征图包括:通过所述第一残差块分别对各图像帧进行卷积处理;将所述第一残差块卷积处理的结果,输入所述第二残差块进行卷积处理,得到所述目标对象的初始特征图。
需要说明的是,第二残差块可以包括至少一个残差块。即,第二残差块可以是单一的残差块。第二残差块也可以包括多个残差块,即,第二残差块可以是多个残差块的统称。可以理解,第一残差块卷积处理的结果,实质上也是目标对象的特征图。
具体地,计算机设备可以将各图像帧分别输入深度网络模型中的第一残差块中,通过第一残差块分别对各个图像帧进行卷积处理,以提取各图像帧的特征,并将第一残差块卷积提取的特征图,输入第二残差块进行卷积处理,通过第二残差块的卷积处理,输出目标对象的初始特征图。
可以理解,当第二残差块包括多个残差块时,则可以将第二残差块包括的前一残差块卷积处理的结果,输入后一残差块中进行卷积处理,直至最后一个残差块在卷积处理后,输出目标对象的初始特征图。
在一个实施例中,所述深度网络模型的训练步骤包括:获取多组样本数据;每组样本数据中包括多张样本图像帧,各样本图像帧中皆包括样本检测对象;将各组样本数据分别输入初始神经网络模型中进行前向计算,通过损失函数计算损失;根据计算的损失进行反向梯度更新,以调整初始神经网络模型的模型参数,并返回将各组样本数据分别输入初始神经网络模型中进行前向计算的步骤,以进入下一轮次的迭代处理,直至达到迭代停止条件,将具有满足迭代停止条件时的模型参数的神经网络模型,作为最终的深度网络模型。
其中,样本检测对象,是指在使用样本数据训练深度网络模型的过程中,需要检测提取其轨迹特征的对象。
上述实施例中,通过浅层网络层对图像帧进行卷积处理,相当于在浅层对图像帧进行特征提取,得到目标对象的初始特征图。这样一来,由于浅层提取,所以,初始特征图之间的时序信息保留的还比较多,并未因浅层的卷积处理造成过多的损失,因此,将初始特征图按时序融合得到的第一轨迹特征图,能够较好地体现目标对象的轨迹信息。
在一个实施例中,步骤S208包括:将各所述初始特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层分别对各所述初始特征图进行卷积处理,得到所述目标对象的深度特征图。
其中,深层网络层,是深度网络模型中除浅层网络层以外的、且位于深度网络模型中的深层次的网络层。
可以理解,深层网络层可以包括至少一层网络层。
具体地,计算机设备可以将对各图像帧提取的目标对象的初始特征图,依次输入深度网络模型的深层网络层中的各网络层中进行卷积处理,将深层网络层的前一层对初始特征图卷积处理的结果,输入深层网络层的后一层中进行卷积处理,直至深层网络层的最后一层在卷积处理后,输出目标对象的深度特征图。
在一个实施例中,深度网络模型可以为残差网络模型。深层网络层包括第三残差块和第四残差块。本实施例中,通过所述深层网络层分别对各所述初始特征图进行卷积处理,得到所述目标对象的深度特征图,包括:通过所述第三残差块分别对各初始特征图进行卷积处理;将所述第三残差块卷积处理的结果,输入所述第四残差块进行卷积处理,得到所述目标对象的深度特征图。
需要说明的是,第四残差块可以包括至少一个残差块。即,第四残差块可以是单一的残差块。第四残差块也可以包括多个残差块,即,第四残差块可以是多个残差块的统称。可以理解,第三残差块和第四残差块卷积处理的结果,实质上仍然是特征图。
具体地,计算机设备可以将各初始特征图分别输入深度网络模型中的第三残差块中,通过第三残差块分别对各个初始特征图进行卷积处理,以提取各初始特征图的特征,并将第三残差块卷积提取的特征图,输入第四残差块进行卷积处理,通过第四残差块的卷积处理,输出目标对象的深度特征图。
可以理解,当第四残差块包括多个残差块时,则可以将第四残差块包括的前一残差块卷积处理的结果,输入后一残差块中进行卷积处理,直至最后一个残差块在卷积处理后,输出目标对象的深度特征图。
在一个实施例中,计算机设备可以通过深度网络模型中包括的融合模型,将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图。
上述实施例中,将各所述初始特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层分别对各所述初始特征图进行卷积处理,得到所述目标对象的深度特征图。相当于,在初始特征图的基础上进一步进行特征挖掘,使得深度特征图能够挖掘目标对象更多的特征。进而,由深度特征图进行时序融合得到的第二轨迹特征图,在体现目标对象的轨迹以外,能够较充分地挖掘目标对象的特征。因此,融合第一轨迹特征图和第二轨迹特征图,得到目标对象的轨迹特征,能够既保证对目标对象的特征的深度挖掘,又能够充分挖掘目标对象的轨迹信息,因此,最终融合得到的目标对象的轨迹特征更加准确。
在一个实施例中,步骤S212包括:将所述第一轨迹特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层对所述第一轨迹特征图进行卷积处理;对卷积处理后的轨迹特征图和所述第二轨迹特征图进行池化处理,融合得到最终的轨迹特征图;根据最终的所述轨迹特征图,确定所述目标对象的轨迹特征。
具体地,计算机设备可以将第一轨迹特征图输入深度网络模型的深层网络层中进行卷积处理,将深层网络层中的前一层网络层卷积处理的结果,输入深层网络层中后一层网络层中进行卷积处理,直至深层网络层的最后一层网络层进行卷积。计算机设备可以将最后一层卷积处理输出的轨迹特征图和第二轨迹特征图进行池化处理,通过池化处理,将卷积处理输出的轨迹特征图和第二轨迹特征图进行融合,得到最终的轨迹特征图。进一步地,计算机设备可以根据最终的轨迹特征图,确定所述目标对象的轨迹特征。
在一个实施例中,计算机设备可以对卷积处理后的轨迹特征图和所述第二轨迹特征图进行平均池化处理或最大池化处理。
在一个实施例中,所述根据最终的所述轨迹特征图,确定所述目标对象的轨迹特征包括:将最终的所述轨迹特征图输入所述深度网络模型的全局池化层中,进行平均池化处理;将平均池化处理后的轨迹特征图输入全连接层中,输出所述目标对象的轨迹特征向量。
其中,轨迹特征向量,是目标对象的轨迹特征的向量化表示。
具体地,深度网络模型中包括全局池化层和全连接层。计算机设备可以将最终的轨迹特征图输入全局池化层中,进行全局平均池化处理,并将平均池化处理后的轨迹特征图输入全连接层中,输出所述目标对象的轨迹特征向量。
其中,全局平均池化处理,是指对整张轨迹特征图的特征点取平均值。
图3为一个实施例中深度网络模型的结构框图。参照图3,深度网络模型中包括第一残差块、第二残差块、第一融合模型、第三残差块、第四残差块、第二融合模型、全局池化层和全连接层。计算机设备可以将图像帧序列输入前两个残差块,即第一残差块和第二残差块中进行特征提取处理,得到目标对象的图像级别的初始特征图。之后,分成早期融合分支和晚期融合分支这两个分支分别进行处理,在晚期融合分支这一侧,可以将各初始特征图再输入第三残差块和第四残差块中继续进行特征提取处理,在第四残差块进行特征提取处理后,得到目标对象的深度特征图,将各深度特征图通过第二融合模型进行时序融合,得到第二轨迹特征图。在早期融合分支这一侧,可以直接将多个初始特征图通过第一融合模型进行融合,得到第一轨迹特征图。然后,计算机设备将第一轨迹特征图输入第三残差块和第四残差块中继续进行卷积处理,以使得卷积处理后的轨迹特征图与第二轨迹特征图的格式相符,从而将卷积处理后的轨迹特征图与第二轨迹特征图进一步地进行融合,得到目标对象的最终的轨迹特征图。计算机设备可以将最终的轨迹特征图输入全局池化层中,进行平均池化处理;将平均池化处理后的轨迹特征图输入全连接层中,输出所述目标对象的轨迹特征向量。
上述实施例中,会将第一轨迹特征图输入所述深度网络模型的深层网络层中进行卷积处理,从而使得卷积处理后的轨迹特征图与第二轨迹特征图的格式一致,从而基于格式一致的卷积处理后的轨迹特征图和所述第二轨迹特征图进行池化处理,融合得到最终的轨迹特征图,能够提高最终的轨迹特征图的准确性,进而,根据最终的所述轨迹特征图,能够更准确地确定出所述目标对象的轨迹特征。
在一个实施例中,步骤S210包括:提取各所述深度特征图的特征;根据提取的所述特征,确定各所述深度特征图的特征权重;将各所述深度特征图按相应特征权重进行加权平均,得到所述目标对象的第二轨迹特征图。
具体地,计算机设备可以将深度特征图输入预先训练的神经网络模型中,提取每一张深度特征图的特征,根据提取的特征,确定各深度特征图的特征权重,然后将各深度特征图按相应特征权重进行加权平均,得到目标对象的第二轨迹特征图。
在一个实施例中,预先训练的神经网络模型,可以是帧级网络模型。帧级网络模型,是以帧为级别,提取每帧图像的特征的神经网络模型。
在一个实施例中,根据提取的特征,确定各深度特征图的特征权重包括:根据提取的特征对各深度特征图进行分类,得到各深度特征图属于目标对象的分类概率;根据分类概率,确定各深度特征图的特征权重;特征权重的大小与分类概率正相关。
具体地,计算机设备中存储了预先训练的分类器,该分类器可以是帧级分类器。帧级分类器,即,以帧为级别的,对各帧进行分类的机器学习模型。
计算机设备可以使用预先训练的分类器,根据提取的特征对各深度特征图进行分类,得到各深度特征图属于目标对象的分类概率。根据分类概率,确定各深度特征图的特征权重。
其中,特征权重的大小与分类概率正相关。分类概率越大,表明深度特征图属于目标对象的概率越大,则深度特征图越能体现目标对象的特征,因此,深度特征图的特征权重也就越大;反之,分类概率越小,表明深度特征图属于目标对象的概率越小,则深度特征图在体现目标对象的特征上贡献的越小,因此,深度特征图的特征权重也就越小。
图4为一个实施例中确定特征权重的示意图。参照图4,可以通过帧级神经网络模型对各帧初始特征图进行特征提取,得到每一帧初始特征图的特征,将提取的特征输入全连接层中,全连接层相当于一个分类器,从而,根据提取的特征对各深度特征图进行分类,得到各深度特征图属于目标对象的分类概率。进一步地,根据该分类概率确定各初始特征图的特征权重。
上述实施例中,根据各所述深度特征图的特征,确定各所述深度特征图的特征权重,能够更准确地确定出各深度特征图的重要性,进而,将各所述深度特征图按相应特征权重进行加权平均,相当于,将各深度特征图按照各自的重要程度进行融合,从而能够得到更为准确的目标对象的第二轨迹特征图。
在一个实施例中,该方法还包括目标对象检索步骤,具体包括以下:获取待检索的视频中各候选对象的轨迹特征;将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配;将匹配的轨迹特征在所述视频中所属的候选对象,识别为所述目标对象。
其中,待检索的视频,是指视频库中存储的用于检索是否存在目标对象的视频。可以理解,在从待识别视频中提取到目标对象的轨迹特征之后,可以利用提取的目标对象的轨迹特征,从待检索的视频中,识别是否存在该目标对象。
候选对象,是存在于待检索的视频中的、供识别是否为目标对象的对象。候选对象可以至少一个。
具体地,针对待检索的视频中的每个候选对象,计算机设备可以按照本申请各实施例中提供的轨迹获取方法,获取待检索的视频中各候选对象的轨迹特征。计算机设备可以将目标对象的轨迹特征与各候选对象的轨迹特征进行匹配,从中判定出与目标对象的轨迹特征匹配的候选对象的轨迹特征,并将匹配的轨迹特征在所述视频中所属的候选对象,识别为所述目标对象。
上述实施例中,将所述目标对象的轨迹特征与待检索的视频中各候选对象的轨迹特征进行匹配,由于目标对象的轨迹特征既挖掘了目标对象自身的特征信息,又挖掘了目标对象在时序、轨迹方面的信息,因而,根据匹配结果能够准确地识别出待检索的视频中的目标对象。
在一个实施例中,所述轨迹特征为轨迹特征向量。本实施例中,所述将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配包括:确定目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离;根据所述距离,确定所述目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度;判定相似度满足预设相似条件的轨迹特征向量之间相匹配。
其中,预设相似条件,是预先设置的用于判断两者相似的条件。
在一个实施例中,预设相似条件,包括相似度大于预设相似度阈值或相似度排名在前预设位次。
具体地,计算机设备可以计算目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离。进一步地,计算机设备可以根据所述距离,确定所述目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度。计算机设备可以将确定的相似度与预设相似条件进行比对,确定出满足预设相似条件的相似度。进一步地,计算机设备可以判定相似度满足预设相似条件的轨迹特征向量之间相匹配。
在一个实施例中,计算机设备可以通过余弦距离算法或者欧式距离算法,计算目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离。
图5为一个实施例中目标对象检索的界面示意图。参照图5,用户可以在左侧区域502上传待识别视频或多张具有时序的图像帧,计算机设备可以按照本申请各实施例中的轨迹获取方法,从中提取目标对象的轨迹特征向量。计算机设备可以按照本申请各实施例中的轨迹获取方法,获取视频库中的各待检索的视频中的候选对象的轨迹特征向量。计算机设备可以计算所述目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度,筛选出相似度满足预设相似条件的候选对象,作为目标对象在界面上进行输出展示。在图5的右侧区域504中,即为从视频库的待检索的视频中,匹配筛选出来的属于目标对象的对象。504中显示的相似度,即为在筛选匹配时,目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度。
可以理解,本申请各实施例中的轨迹获取方法,可以适用于视频行人重识别,即通过本申请各实施例中的轨迹获取方法,可以确定出监控摄像头下出现的每一个行人/车辆的行动路线轨迹,从而,可以检索到不同路口、不同摄像头下的相同身份的行人/车辆。
在其他实施例中,本申请各实施例中的轨迹获取方法,也可以应用于分类或者行为预判等应用场景中,即根据确定的目标对象的轨迹特征,对目标对象进行分类,或者对目标对象的行为进行预判。
上述实施例中,根据目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离,确定所述目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度,即,通过向量空间中两个轨迹特征向量之间的距离,能够准确地确定两个轨迹特征向量之间的相似度,进而根据该相似度能够准确地识别出待检索的视频中的目标对象。
如图6所示,在一个实施例中提供了一种轨迹获取方法,具体包括以下步骤:
S602,获取上传的待识别视频;确定待识别视频中的目标对象;接收针对目标对象的检索指令。
在一个实施例中,目标对象可以是人。在其他实施例中,目标对象也可以是动物或者物体(比如,车辆或其他交通工具)等。
S604,解析待识别视频,得到具有时序的、且包括目标对象的图像帧序列。
S606,将图像帧序列中的各图像帧,分别输入预先训练的深度网络模型的浅层网络层中,通过第一残差块分别对各图像帧进行卷积处理;将第一残差块卷积处理的结果,输入第二残差块进行卷积处理,得到目标对象的初始特征图。
S608,提取各初始特征图的特征;根据提取的特征对各初始特征图进行分类,得到各初始特征图属于目标对象的分类概率;根据分类概率,确定各初始特征图的特征权重;将各初始特征图按相应特征权重进行加权平均,得到目标对象的第一轨迹特征图。
S610,将各初始特征图输入深度网络模型的深层网络层中,通过第三残差块分别对各初始特征图进行卷积处理;将第三残差块卷积处理的结果,输入第四残差块进行卷积处理,得到目标对象的深度特征图。
S612,提取各深度特征图的特征;根据提取的特征对各深度特征图进行分类,得到各深度特征图属于目标对象的分类概率;根据分类概率,确定各深度特征图的特征权重;将各深度特征图按相应特征权重进行加权平均,得到目标对象的第二轨迹特征图。
S614,将第一轨迹特征图输入深度网络模型的深层网络层中,通过深层网络层对第一轨迹特征图进行卷积处理;对卷积处理后的轨迹特征图和第二轨迹特征图进行平均池化处理,融合得到最终的轨迹特征图。
S616,将最终的轨迹特征图输入深度网络模型的全局池化层中,进行平均池化处理;将平均池化处理后的轨迹特征图输入全连接层中,输出目标对象的轨迹特征向量。
S618,获取待检索的视频中各候选对象的轨迹特征向量;确定目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离;根据距离,确定目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度。
S620,将相似度满足预设相似条件的轨迹特征向量在视频中所属的候选对象,识别为目标对象。
上述轨迹获取方法,从具有时序的各图像帧中提取到目标对象的初始特征图后,可以先对初始特征图按时序融合,由于初始特征图是在浅层提取的特征,所以,初始特征图的时序融合,能够较好地体现目标对象的轨迹信息。进而,对各初始特征图进一步进行特征提取,得到深度特征图,将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图。由于,深度特征图,是在初始特征图的基础上进一步进行特征挖掘得到的,所以,由深度特征图进行时序融合得到的第二轨迹特征图,在体现目标对象的轨迹以外,能够较充分地挖掘目标对象的特征。因此,融合第一轨迹特征图和第二轨迹特征图,得到目标对象的轨迹特征,能够既保证对目标对象的特征的深度挖掘,又能够充分挖掘目标对象的轨迹信息,因此,最终融合得到的目标对象的轨迹特征更加准确。
如图7所示,在一个实施例中,提供了一种轨迹获取装置700,该装置700包括:获取模块702、特征提取模块704以及融合模块706,其中:
获取模块702,用于获取具有时序的图像帧序列。
特征提取模块704,用于从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图。
融合模块706,用于按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图。
所述特征提取模块704还用于对各所述初始特征图进行特征提取,得到深度特征图。
所述融合模块706还用于将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
在一个实施例中,所述特征提取模块704还用于将所述图像帧序列中的各图像帧,分别输入预先训练的深度网络模型的浅层网络层中,通过所述浅层网络层分别对各图像帧进行卷积处理,得到所述目标对象的初始特征图。
在一个实施例中,所述深度网络模型为残差网络模型;所述浅层网络层中包括第一残差块和第二残差块。所述特征提取模块704还用于通过所述第一残差块分别对各图像帧进行卷积处理;将所述第一残差块卷积处理的结果,输入所述第二残差块进行卷积处理,得到所述目标对象的初始特征图。
在一个实施例中,所述特征提取模块704还用于将各所述初始特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层分别对各所述初始特征图进行卷积处理,得到所述目标对象的深度特征图。
在一个实施例中,所述融合模块706还用于将所述第一轨迹特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层对所述第一轨迹特征图进行卷积处理;对卷积处理后的轨迹特征图和所述第二轨迹特征图进行池化处理,融合得到最终的轨迹特征图;根据最终的所述轨迹特征图,确定所述目标对象的轨迹特征。
在一个实施例中,所述融合模块706还用于将最终的所述轨迹特征图输入所述深度网络模型的全局池化层中,进行平均池化处理;将平均池化处理后的轨迹特征图输入全连接层中,输出所述目标对象的轨迹特征向量。
在一个实施例中,所述融合模块706还用于提取各所述深度特征图的特征;根据提取的所述特征,确定各所述深度特征图的特征权重;将各所述深度特征图按相应特征权重进行加权平均,得到所述目标对象的第二轨迹特征图。
在一个实施例中,所述融合模块706还用于根据提取的特征对各所述深度特征图进行分类,得到各所述深度特征图属于所述目标对象的分类概率;根据所述分类概率,确定各所述深度特征图的特征权重;所述特征权重的大小与所述分类概率正相关。
如图8所示,在一个实施例中,该装置700还包括:
对象检索模块708,用于获取待检索的视频中各候选对象的轨迹特征;将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配;将匹配的轨迹特征在所述视频中所属的候选对象,识别为所述目标对象。
在一个实施例中,所述轨迹特征为轨迹特征向量;对象检索模块708还用于确定目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离;根据所述距离,确定所述目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度;判定相似度满足预设相似条件的轨迹特征向量之间相匹配。
在一个实施例中,获取模块702还用于获取上传的待识别视频;确定所述待识别视频中的目标对象;解析所述待识别视频,得到具有时序的、且包括所述目标对象的图像帧序列。
上述轨迹获取装置,从具有时序的各图像帧中提取到目标对象的初始特征图后,可以先对初始特征图按时序融合,由于初始特征图是在浅层提取的特征,所以,初始特征图的时序融合,能够较好地体现目标对象的轨迹信息。进而,对各初始特征图进一步进行特征提取,得到深度特征图,将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图。由于,深度特征图,是在初始特征图的基础上进一步进行特征挖掘得到的,所以,由深度特征图进行时序融合得到的第二轨迹特征图,在体现目标对象的轨迹以外,能够较充分地挖掘目标对象的特征。因此,融合第一轨迹特征图和第二轨迹特征图,得到目标对象的轨迹特征,能够既保证对目标对象的特征的深度挖掘,又能够充分挖掘目标对象的轨迹信息,因此,最终融合得到的目标对象的轨迹特征更加准确。
图9为一个实施例中计算机设备的内部结构示意图。参照图9,该计算机设备可以是图1中的服务器120。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时,可使得处理器执行一种轨迹获取方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种轨迹获取方法。计算机设备的网络接口用于进行网络通信。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的轨迹获取装置可以实现为一种计算机程序的形式,计算机程序可在如图9所示的计算机设备上运行,计算机设备的非易失性存储介质可存储组成该轨迹获取装置的各个程序模块,比如,图7所示的获取模块702、特征提取模块704以及融合模块706。各个程序模块所组成的计算机程序用于使该计算机设备执行本说明书中描述的本申请各个实施例的轨迹获取方法中的步骤,例如,计算机设备可以通过如图7所示的轨迹获取装置700中的获取模块702获取具有时序的图像帧序列,并通过特征提取模块704从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图。计算机设备可以通过融合模块706按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图。计算机设备可以通过所述特征提取模块704对各所述初始特征图进行特征提取,得到深度特征图,并通过所述融合模块706将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
图10为一个实施例中计算机设备的内部结构示意图。参照图10,该计算机设备可以终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时,可使得处理器执行一种轨迹获取方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种轨迹获取方法。计算机设备的网络接口用于进行网络通信。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等。计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该计算机设备可以是个人计算机、智能音箱、移动终端或车载设备,移动终端包括手机、平板电脑、个人数字助理或可穿戴设备等中的至少一种。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述轨迹获取方法的步骤。此处轨迹获取方法的步骤可以是上述各个实施例的轨迹获取方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述轨迹获取方法的步骤。此处轨迹获取方法的步骤可以是上述各个实施例的轨迹获取方法中的步骤。
需要说明的是,本申请各实施例中的“第一”、“第二”和“第三”等仅用作区分,而并不用于大小、先后、从属等方面的限定。
应该理解的是,虽然本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种轨迹获取方法,所述方法包括:
获取具有时序的图像帧序列;
从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;
按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;
对各所述初始特征图进行特征提取,得到深度特征图;
将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;
融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
2.根据权利要求1所述的方法,其特征在于,所述从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图包括:
将所述图像帧序列中的各图像帧,分别输入预先训练的深度网络模型的浅层网络层中,并通过所述浅层网络层分别对各图像帧进行卷积处理,得到所述目标对象的初始特征图。
3.根据权利要求2所述的方法,其特征在于,所述深度网络模型为残差网络模型;所述浅层网络层中包括第一残差块和第二残差块;
所述通过所述浅层网络层分别对各图像帧进行卷积处理,得到所述目标对象的初始特征图包括:
通过所述第一残差块分别对各图像帧进行卷积处理;
将所述第一残差块卷积处理的结果,输入所述第二残差块进行卷积处理,得到所述目标对象的初始特征图。
4.根据权利要求2所述的方法,其特征在于,所述对各所述初始特征图进行特征提取,得到深度特征图包括:
将各所述初始特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层分别对各所述初始特征图进行卷积处理,得到所述目标对象的深度特征图。
5.根据权利要求4所述的方法,其特征在于,所述融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征包括:
将所述第一轨迹特征图输入所述深度网络模型的深层网络层中,通过所述深层网络层对所述第一轨迹特征图进行卷积处理;
对卷积处理后的轨迹特征图和所述第二轨迹特征图进行池化处理,融合得到最终的轨迹特征图;
根据最终的所述轨迹特征图,确定所述目标对象的轨迹特征。
6.根据权利要求5所述的方法,其特征在于,所述根据最终的所述轨迹特征图,确定所述目标对象的轨迹特征包括:
将最终的所述轨迹特征图输入所述深度网络模型的全局池化层中,进行平均池化处理;
将平均池化处理后的轨迹特征图输入全连接层中,输出所述目标对象的轨迹特征向量。
7.根据权利要求1所述的方法,其特征在于,所述将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图包括:
提取各所述深度特征图的特征;
根据提取的所述特征,确定各所述深度特征图的特征权重;
将各所述深度特征图按相应特征权重进行加权平均,得到所述目标对象的第二轨迹特征图。
8.根据权利要求7所述的方法,其特征在于,所述根据提取的所述特征,确定各所述深度特征图的特征权重包括:
根据提取的特征对各所述深度特征图进行分类,得到各所述深度特征图属于所述目标对象的分类概率;
根据所述分类概率,确定各所述深度特征图的特征权重;所述特征权重的大小与所述分类概率正相关。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取待检索的视频中各候选对象的轨迹特征;
将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配;
将匹配的轨迹特征在所述视频中所属的候选对象,识别为所述目标对象。
10.根据权利要求9所述的方法,其特征在于,所述轨迹特征为轨迹特征向量;
所述将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配包括:
确定目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的距离;
根据所述距离,确定所述目标对象的轨迹特征向量和各候选对象的轨迹特征向量之间的相似度;
判定相似度满足预设相似条件的轨迹特征向量之间相匹配。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述获取具有时序的图像帧序列包括:
获取上传的待识别视频;
确定所述待识别视频中的目标对象;
解析所述待识别视频,得到具有时序的、且包括所述目标对象的图像帧序列。
12.一种轨迹获取装置,其特征在于,所述装置包括:
获取模块,用于获取具有时序的图像帧序列;
特征提取模块,用于从所述图像帧序列的各图像帧中提取目标对象的特征,得到所述目标对象的初始特征图;
融合模块,用于按所述时序融合各所述初始特征图,得到所述目标对象的第一轨迹特征图;
所述特征提取模块还用于对各所述初始特征图进行特征提取,得到深度特征图;
所述融合模块还用于将各深度特征图按所述时序融合,得到所述目标对象的第二轨迹特征图;融合第一轨迹特征图和第二轨迹特征图,得到所述目标对象的轨迹特征。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
对象检索模块,用于获取待检索的视频中各候选对象的轨迹特征;将所述目标对象的轨迹特征与各候选对象的轨迹特征进行匹配;将匹配的轨迹特征在所述视频中所属的候选对象,识别为所述目标对象。
14.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至11中任一项所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至11中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910527752.6A CN110263847B (zh) | 2019-06-18 | 2019-06-18 | 轨迹获取方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910527752.6A CN110263847B (zh) | 2019-06-18 | 2019-06-18 | 轨迹获取方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110263847A true CN110263847A (zh) | 2019-09-20 |
CN110263847B CN110263847B (zh) | 2021-10-26 |
Family
ID=67919130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910527752.6A Expired - Fee Related CN110263847B (zh) | 2019-06-18 | 2019-06-18 | 轨迹获取方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263847B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111078940A (zh) * | 2019-12-16 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机存储介质及电子设备 |
CN111325258A (zh) * | 2020-02-14 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 特征信息获取方法、装置、设备及存储介质 |
CN111524164A (zh) * | 2020-04-21 | 2020-08-11 | 北京爱笔科技有限公司 | 一种目标跟踪方法、装置及电子设备 |
CN112967314A (zh) * | 2021-02-19 | 2021-06-15 | 武汉特斯联智能工程有限公司 | 一种应用于智慧社区的目标跟踪方法、装置和计算机设备 |
CN113628243A (zh) * | 2020-05-08 | 2021-11-09 | 广州海格通信集团股份有限公司 | 运动轨迹获取方法、装置、计算机设备和存储介质 |
CN113942524A (zh) * | 2020-07-15 | 2022-01-18 | 广州汽车集团股份有限公司 | 一种车辆行驶控制方法、系统及计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875666A (zh) * | 2018-06-27 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 运动轨迹的获取方法、装置、计算机设备及存储介质 |
CN109711316A (zh) * | 2018-12-21 | 2019-05-03 | 广东工业大学 | 一种行人重识别方法、装置、设备及存储介质 |
-
2019
- 2019-06-18 CN CN201910527752.6A patent/CN110263847B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875666A (zh) * | 2018-06-27 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 运动轨迹的获取方法、装置、计算机设备及存储介质 |
CN109711316A (zh) * | 2018-12-21 | 2019-05-03 | 广东工业大学 | 一种行人重识别方法、装置、设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
FENG ZHENG等: "Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training", 《ARXIV》 * |
LIN CHEN等: "Deep Spatial-Temporal Fusion Network for Video-Based Person Re-Identification", 《IEEE》 * |
SHUANGJIE XU等: "Jointly Attentive Spatial-Temporal Pooling Networks for Video-based Person Re-Identification", 《ARXIV》 * |
STEFAN PETSCHARNIG等: "Early and Late Fusion of Temporal Information for Classification of Surgical Actions in Laparoscopic Gynecology", 《IEEE》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111078940A (zh) * | 2019-12-16 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机存储介质及电子设备 |
CN111078940B (zh) * | 2019-12-16 | 2023-05-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机存储介质及电子设备 |
CN111325258A (zh) * | 2020-02-14 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 特征信息获取方法、装置、设备及存储介质 |
CN111325258B (zh) * | 2020-02-14 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 特征信息获取方法、装置、设备及存储介质 |
CN111524164A (zh) * | 2020-04-21 | 2020-08-11 | 北京爱笔科技有限公司 | 一种目标跟踪方法、装置及电子设备 |
CN111524164B (zh) * | 2020-04-21 | 2023-10-13 | 北京爱笔科技有限公司 | 一种目标跟踪方法、装置及电子设备 |
CN113628243A (zh) * | 2020-05-08 | 2021-11-09 | 广州海格通信集团股份有限公司 | 运动轨迹获取方法、装置、计算机设备和存储介质 |
CN113942524A (zh) * | 2020-07-15 | 2022-01-18 | 广州汽车集团股份有限公司 | 一种车辆行驶控制方法、系统及计算机可读存储介质 |
CN112967314A (zh) * | 2021-02-19 | 2021-06-15 | 武汉特斯联智能工程有限公司 | 一种应用于智慧社区的目标跟踪方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110263847B (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263847A (zh) | 轨迹获取方法、装置、计算机设备及存储介质 | |
Liu et al. | Multistage GAN for fabric defect detection | |
Jia et al. | A semisupervised Siamese network for hyperspectral image classification | |
Rochan et al. | Video summarization using fully convolutional sequence networks | |
Fu et al. | Refinet: A deep segmentation assisted refinement network for salient object detection | |
Zhuge et al. | Boundary-guided feature aggregation network for salient object detection | |
US11875510B2 (en) | Generating refined segmentations masks via meticulous object segmentation | |
CN110009003A (zh) | 图像处理与图像比对模型的训练方法、装置和系统 | |
CN109086697A (zh) | 一种人脸数据处理方法、装置及存储介质 | |
CN115171165A (zh) | 全局特征与阶梯型局部特征融合的行人重识别方法及装置 | |
CN104778238B (zh) | 一种视频显著性的分析方法及装置 | |
CN113449610A (zh) | 一种基于知识蒸馏和注意力机制的手势识别方法和系统 | |
Zhou et al. | Perceptually aware image retargeting for mobile devices | |
CN109543685A (zh) | 图像语义分割方法、装置和计算机设备 | |
JP2022082493A (ja) | ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法 | |
Ji et al. | LGCNet: A local-to-global context-aware feature augmentation network for salient object detection | |
Guo et al. | Rethinking gradient operator for exposing AI-enabled face forgeries | |
Tang et al. | Stroke-based scene text erasing using synthetic data for training | |
Zheng et al. | Remote sensing semantic segmentation via boundary supervision aided multi-scale channel-wise cross attention network | |
CN105654095A (zh) | 一种特征的选择方法和装置 | |
CN113763415B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
Sohail et al. | Deep object detection based mitosis analysis in breast cancer histopathological images | |
CN113449657B (zh) | 一种基于人脸关键点的深度伪造人脸视频检测方法、系统及介质 | |
CN115331146A (zh) | 一种基于数据增强与特征融合的微小目标自适应检测方法 | |
Kikuchi et al. | Transferring pose and augmenting background for deep human-image parsing and its applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211026 |
|
CF01 | Termination of patent right due to non-payment of annual fee |