CN111008621A - 对象追踪方法、装置、计算机设备和存储介质 - Google Patents
对象追踪方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111008621A CN111008621A CN202010159817.9A CN202010159817A CN111008621A CN 111008621 A CN111008621 A CN 111008621A CN 202010159817 A CN202010159817 A CN 202010159817A CN 111008621 A CN111008621 A CN 111008621A
- Authority
- CN
- China
- Prior art keywords
- overlapping area
- features
- same
- objects
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims description 49
- 238000003062 neural network model Methods 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 1
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机技术领域，特别是涉及一种对象追踪方法、装置、计算机设备和存储介质。所述方法包括：获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，拼接图像包括相邻采集设备的实时图像的重叠区域；对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度；确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识；获取拼接图像对应的各实时图像，将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。采用本方法能够提升对象追踪效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种对象追踪方法、装置、计算机设备和存储介质。
背景技术
计算机视觉就是人工智能领域下一个非常重要的研究热点和难点，在计算机视觉领域下目标的检测又是研究的重点，其中最为活跃的一个研究方向就是关于对对象的追踪，如行人追踪。
在传统方式中，在进行对象实时追踪时，需要对多个采集设备（如摄像头）以及所有对象的特征均进行匹配。如果使用场景中，采集设备的数量特别大或者对象的数量特别多，则会消耗大量的搜索计算时间，使得对象追踪的处理效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升对象追踪效率的对象追踪方法、装置、计算机设备和存储介质。
一种对象追踪方法，所述方法包括：
获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，拼接图像包括相邻采集设备的实时图像的重叠区域；
对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度；
确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识；
获取拼接图像对应的各实时图像，将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。
在其中一个实施例中，对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，包括：
对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框以及对象特征；
基于各对象的对象特征，计算各对象特征之间的特征距离，并基于得到的特征距离，确定重叠区域中的各对象为同一对象的相似度。
在其中一个实施例中，上述方法还包括：
获取实时图像携带的采集设备的设备标识，并基于设备标识获取对应的设备参数；
根据获取的设备参数，得到对应实时图像的空间特征；
对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，包括：
对重叠区域进行对象特征的提取，并基于生成的所述空间特征，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
在其中一个实施例中，对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度之后，还包括：
基于缓存中已有的对象特征，以及对重叠区域中各对象进行特征提取后得到的对象特征，分别判断缓存中是否存在与重叠区域中各对象对应为同一对象的目标对象；
当缓存中存在与重叠区域中对象对应为同一对象的目标对象时，则获取缓存中目标对象的对象标识，作为重叠区域中对象的对象标识，并添加至重叠区域中对象对应的对象识别框；
当缓存中不存在与重叠区域中对象对应为同一对象的目标对象时，则生成对应重叠区域中对象的对象标识，添加至对象的对象识别框，并将生成的对象标识以及对象的对象特征存入缓存。
在其中一个实施例中，将生成的对象标识以及对象的对象特征存入缓存之后，还包括：
设置缓存中对象标识以及对象特征的失效时长；
当在失效时长内，未识别到与对象特征对应的同一对象时，则删除缓存中的对象标识以及对象特征；
当在失效时长内，识别到与对象特征对应的同一对象时，则重新设置缓存中对象标识以及对象特征的失效时长。
在其中一个实施例中，对拼接图像进行对象特征的提取是通过预先训练的神经网络模型进行的，神经网络模型的生成方式包括：
获取训练集图像；
通过标注框对训练集图像中的重叠区域以及对象分别进行标注，分别得到训练集图像中重叠区域以及各对象的位置信息和类别信息；
对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；
将训练集图像输入构建的神经网络模型，对训练集图像进行对象特征的提取，得到多个尺度的对象特征；
对各尺度的对象特征进行特征融合，得到对应各尺度的对象特征的预测框；
基于标注框，确定对应各尺度的预测框的损失值，并通过损失值更新模型参数；
对神经网络模型进行迭代处理，得到训练后的神经网络模型。
一种对象追踪装置，所述装置包括：
实时图像获取模块，用于获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，拼接图像包括相邻采集设备的实时图像的重叠区域；
特征提取模块，用于对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度；
同一对象确定模块，用于确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识；
对象标识框添加模块，用于获取拼接图像对应的各实时图像，将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。
在其中一个实施例中，特征提取模块，包括：
特征提取子模块，用于对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框以及对象特征；
相似度生成模块，用于基于各对象的对象特征，计算各对象特征之间的特征距离，并基于得到的特征距离，确定重叠区域中的各对象为同一对象的相似度。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述对象追踪方法、装置、计算机设备和存储介质，通过获取相邻采集设备采集的实时图像，并进行拼接处理，得到拼接图像，然后对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，并确定相似度满足预设阈值的多个对象为同一对象，并分配同一对象标识至同一对象对应的对象识别框，然后获取拼接图像对应的各实时图像，将携带有对象标识的对象标识框添加至各实时图像中，以对对象进行追踪。从而，通过获取相邻采集设备的实时图像并进行拼接处理，然后对拼接图像中重叠区域的对象是否为同一对象进行判定，使的在对不同摄像头区域实时图像进行对象追踪时，追踪计算范围缩小到两个相邻采集设备中的重叠区域中，从而可以较少计算量，提升处理效率以及准确性。
附图说明
图1为一个实施例中对象追踪方法的应用场景图；
图2为一个实施例中对象追踪方法的流程示意图；
图3为一个实施例中实时图像的示意图；
图4为一个实施例中拼接图像的示意图；
图5为一个实施例中神经网络模型的结构框图；
图6为图5中神经网络模型的网络参数示意图；
图7为图5中神经网络模型部分网络模块的详细结构示意图；
图8为一个实施例中IDM模块的结构示意图；
图9为一个实施例中IDM模块的详细示意图；
图10为一个实施例中神经网络模型的训练步骤的流程示意图；
图11为一个实施例中神经网络模型的整体架构示意图；
图12为一个实施例中神经网络模型输入输出的示意图；
图13为一个实施例中对象追踪装置的结构示意图；
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的对象追踪方法，可以应用于如图1所示的应用环境中。其中，采集设备102通过网络与服务器104进行通信。具体地，采集设备102可以是多个，多个采集设备102采集的实时图像有重叠区域，各采集设备102可以将采集的实时图像通过网络发送给服务器104。服务器104接收到获取相邻采集设备102采集的实时图像，则将相邻采集设备102采集的实时图像进行拼接处理，得到拼接图像，其中，拼接图像中可以包括相邻采集设备102的实时图像的重叠区域。进一步，服务器104对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。然后服务器104确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识，并将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。其中，采集设备102可以是但不限于是各种照相机、摄像机、录像机、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种对象追踪方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，拼接图像包括相邻采集设备的实时图像的重叠区域。
其中，相邻采集设备是指监控区域存在重叠区域的采集设备。本申请中，以采集设备为摄像头进行说明。
在本实施例中，通过设置多摄像头，覆盖所要监控的所有区域，并设置每个摄像头至少与一个其他摄像头的视野有重叠区域。
进一步，在视野有重叠区域的两个摄像头中，重叠区域最小范围可以同时包含同一个对象的全部特征，例如，参考图3，各摄像头采集的实时图像中，对于处于重叠区域的人物对象，各实时图像的重叠区域中可以包含该人物对象的全部身体特征。并且，各个摄像头均可以清晰获取到该对象的全部特征。从而，每个摄像头的监控区域都有与其他摄像头相重叠的区域，进而可以无丢失的拍摄到对象的轨迹和对象的特征。
在本实施例中，服务器获取到相邻采集设备采集的实时图像后，可以对相邻采集设备的实时图像进行拼接处理，得到拼接图像。参考图4，拼接图像中，区域41以及区域42分别是两个相邻采集设备的重叠区域的图像。
可选地，服务器获取到各采集设备采集的实时图像可以是经同步处理后的图像。具体地，服务器预先对摄像头进行时间同步以及校准处理，然后各摄像头采集的实时视频流进行视频流同步融合队列中，服务器以一定的频率对摄像头采集的视频流进行截图操作，以得到同步处理后对应各摄像头的实时图像。
步骤S204，对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
其中，对象特征是指对象的外观特征，例如，对于人物对象，对象特征是指人物的形体、动作、穿着、表情等外观特征。
相似度是指重叠区域中多个对象为同一对象的度量标准，即，在不同摄像头采集的实时图像中，重叠区域内的对象是同一对象的度量标准。相似度可以包括对象与其他对象之间的对象特征的相似数量以及对应的其他对象的编号等信息，例如，对象A与对象B的对象特征相似数量为10个，对象A与对象C的对象特征相似数量为5个。
具体地，服务器可以通过对象识别算法、深度学习等各种处理方式对拼接图像的重叠区域进行对象的识别以及对象特征的提取。以得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
在本实施例中，服务器还可以对拼接图像中非重叠区域的对象进行识别以及对象特征的提取，以得到非重叠区域中各对象的对象识别框以及对象特征。
步骤S206，确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识。
其中，对象标识是指示对象唯一性的标识，对于不同的对象，其对象标识不同。
在本实施例中，服务器基于预设阈值条件，对各对象的相似度进行判定，当相似度满足预设阈值，则确定为同一对象，不满足预设阈值，则确定为非同一对象。例如，延用前例，对象A与对象B的对象特征相似数量为10个，对象A与对象C的对象特征相似数量为5个，而预设阈值为对象特征相似数量至少9个，则判定对象A与对象B是同一对象。
进一步，服务器可以为该同一对象对应的对象标识框添加同一对象标识。
可选地，服务器对同一拼接图像的重叠区域中各对象进行识别是按照处理队列的先后进行的。服务器按照处理队列的顺序，对重叠区域中对象进行识别处理，对于处理的第一对象，则可以生成对应该第一对象的对象标识，并将生成的对象标识以及对象特征存入公共缓存模块中。
进一步，服务器按照处理队列的顺序，处理重叠区域中第二对象时，可以基于公共缓存模块中存储的第一对象的对象特征以及识别得到的第二对象的对象特征，得到第一对象与第二对象的相似度，并基于相似度判定公共缓存模块中的对象特征对应的第一对象与正在处理的第二对象是否为同一对象。
在本实施例中，当服务器判定公共缓存模块中的对象特征对应的第一对象与正在处理的第二对象为同一对象时，则可以直接获取公共缓存模块中该第一对象的对象标识，作为第二对象的对象标识，并添加至第二对象对应的对象识别框，从而实现对同一对象的对象识别框添加同一对象标识。
步骤S208，获取拼接图像对应的各实时图像，将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。
具体地，服务器为同一对象的对象标识框添加同一对象标识后，可以将添加有同一对象标识的对象标识框分别对应添加至该拼接图像的各实时图像中。
然后服务器通过视频流同步队列按照时间顺序将帧实时图像转换为视频，并输出展示，从而可以在相邻采集设备监控画面的重叠区域中，通过同一对象标识的对象标识框，对同一对象进行标识，进而实现对同一对象的跨采集设备的追踪。
上述对象追踪方法中，通过获取相邻采集设备采集的实时图像，并进行拼接处理，得到拼接图像，然后对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，并确定相似度满足预设阈值的多个对象为同一对象，并分配同一对象标识至同一对象对应的对象识别框，然后获取拼接图像对应的各实时图像，将携带有对象标识的对象标识框添加至各实时图像中，以对对象进行追踪。从而，通过获取相邻采集设备的实时图像并进行拼接处理，然后对拼接图像中重叠区域的对象是否为同一对象进行判定，使的在对不同摄像头区域实时图像进行对象追踪时，追踪计算范围缩小到两个相邻采集设备中的重叠区域中，从而可以较少计算量，提升处理效率以及准确性。
在其中一个实施例中，对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，可以包括：对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框以及对象特征；基于各对象的对象特征，计算各对象特征之间的特征距离，并基于得到的特征距离，确定重叠区域中的各对象为同一对象的相似度。
具体地，服务器分别对拼接图像的重叠区域中各对象进行对象特征的提取，得到各对象的对象特征，并对应生成各对象的对象识别框。
进一步，服务器基于各对象的对象特征，对各两个对象的相似度进行计算。具体地，对象特征可以是多个对象特征，服务器根据两个对象对应的对象特征，分别计算两个对象的各个对象特征与对象特征之间的特征距离，如果特征距离小于一定的阈值，则可以确定量两个特征相似，从而基于相似特征的数量，得到重叠区域中各对象为同一对象的相似度。
上述实施例中，通过基于对象特征，进行各对象特征之间的特征距离的计算，并基于得到的特征距离确定重叠区域中的各对象为同一对象的相似度，从而可以根据对象特征准确确定两个对象是否为同一对象，可以提升识别判定的准确性，进而可以提升对象追踪的准确性。
在其中一个实施例中，上述方法还可以包括：获取实时图像携带的采集设备的设备标识，并基于设备标识获取对应的设备参数；根据获取的设备参数，生成对应实时图像的空间特征。
其中，设备标识是指示设备唯一性的标识，可以是设备编号、设备识别码或者设备IP等。
设备参数是指采集设备的参数，可以包括但不限于采集设备的空间参数，如采集设备的距地面高度、相邻采集设备投射到水平地面上点的直线距离，采集设备尺寸参数等，如，各采集设备的方向角、俯仰角、偏转角等，以及采集内参，如焦距、感光元件面积、图片分辨率等。
空间特征是指基于采集设备的设备参数，所生成的对应实时图像的空间位置的特征，例如，采集设备采集的实时图像的位置特征、采集设备的设备特征、相邻的采集设备之间的地理位置特征等。
具体地，服务器可以预先内置监控区域中各采集设备的设备参数，并在接收到视频流，并获取采集设备的实时图像后，基于实时图像中携带的设备标识，选取对应采集设备的设备参数。
进一步，服务器基于获取的设备参数，从中提取出该采集设备对应的实时图像的空间特征。
对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，可以包括：对重叠区域进行对象特征的提取，并基于生成的空间特征，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
具体地，服务器对重叠区域中各对象进行对象特征提取后，可以将提取的特征与得到的空间特征进行叠加，例如，将提取的特征与得到的空间特征进行ADD（矩阵按位加法）运算，以得到对应各对象的各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
上述实施例中，通过基于设备标识获取对应的设备参数，并基于设备参数生成组成拼接图像的实时图像的空间特征，进而得到拼接图像中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，从而，对象的对象识别框、对象特征以及相似度结合了基于采集设备的设备参数得到的空间特征，可以使得对象识别更加准确，进而可以提升对象追踪的准确性。
在其中一个实施例中，对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度之后，还可以包括：基于缓存中已有的对象特征，以及对重叠区域中各对象进行特征提取后得到的对象特征，分别判断缓存中是否存在与重叠区域中各对象对应为同一对象的目标对象；当缓存中存在与重叠区域中对象对应为同一对象的目标对象时，则获取缓存中目标对象的对象标识，作为重叠区域中对象的对象标识，并添加至重叠区域中对象对应的对象识别框；当缓存中不存在与重叠区域中对象对应为同一对象的目标对象时，则生成对应重叠区域中对象的对象标识，添加至对象的对象识别框，并将生成的对象标识以及对象的对象特征存入缓存。
其中，缓存用于存储各对象的对象特征以及对象标识，用于存储当前拼接图像之前的拼接图像进行识别所得到的对象特征以及对象标识。
具体地，服务器在对当前拼接图像的重叠区域进行对象特征的提取后，可以基于得到的当前拼接图像的重叠区域中各对象的对象特征，对缓存中已有对象进行判定，确定缓存中是否存在对应的目标对象。例如，服务器可以将得到的重叠区域中对象的对象特征，分别与缓冲中各已有对象的对象特征进行特征距离的计算，并根据特征距离得到重叠区域中对象与缓存中各对象的相似度，进而基于得到的相似度与预设阈值确定缓存中是否存在与重叠区域中对象为同一对象的目标对象。
进一步，当服务器确定缓存中存在与重叠区域中对象对应为同一对象的目标对象时，则获取缓存中该目标对象的对象标识，作为重叠区域中对象的对象标识，并添加至重叠区域中对象对应的对象识别框中，当服务器缓存中不存在与重叠区域中对象对应为同一对象的目标对象时，即当该对象首次出现在该重叠区域中时，则服务器生成对应重叠区域中该对象的对象标识，并将该对象标识添加至该对象对应的对象识别框中。
进一步，服务器将生成的对象标识以及对应该对象标识的对象的对象特征存入缓存，以用于下一帧图像判定。
可选地，服务器对拼接图像中非重叠区域的对象进行识别以及对象特征的提取后，也可以基于得到的对象特征，对缓存中已有对象特征进行判定，以确定缓存中是否存在对应的目标对象，并在确定存在对应的目标对象时，获取缓存中该目标对象的对象标识，作为该拼接图像中对象的对象标识，并添加至对应的对象识别框中。若服务器确定缓存中存在对应的目标对象，则生成对应对象的对象标识，并添加至该对象对应的对象识别框中，然后将该对象的对象特征以及对象标识存储至缓存中，以便于后续使用。
上述实施例中，通过基于缓存中已有的对象特征，以及重叠区域中各对象进行特征提取后得到的对象特征，分别判断缓存中是否存在对应为同一对象的目标对象，并在确定当缓存中存在与重叠区域中对象对应为同一对象的目标对象时，则获取缓存中目标对象的对象标识，作为重叠区域中对象的对象标识，并添加至重叠区域中对象对应的对象识别框，从而，在生成视频的时候，前后两帧图像中同一对象的对象识别框的对象标识一致，以实现对对象进行追踪。
在其中一个实施例中，将生成的对象标识以及对象的对象特征存入缓存之后，还可以包括：设置缓存中对象标识以及对象特征的失效时长；当在失效时长内，未识别到与对象特征对应的同一对象时，则删除缓存中的对象标识以及对象特征；当在失效时长内，识别到与对象特征对应的同一对象时，则重新设置缓存中对象标识以及对象特征的失效时长。
其中，失效时长是指预先设置的，缓存中对象标识预计对象特征的时效时长，例如，可以是30秒。
具体地，服务器在将对象标识以及对象特征存入缓存中时，可以设置对象标识以及对象特征的时效时长，例如，设置30秒。在之后的30秒内，若服务器未识别到与该对象特征对应的对象为同一对象时，则说明该对象已不再检测区域内，则服务器可以删除缓存中该对象的对象标识以及对象特征，并在后续再次识别到该对象时，将该对象的对象特征以及对象标识作为新的对象特征以及对象标识存入缓存中。如在之后的30秒内，服务器识别到与该对象特征对应的对象为同一对象时，则服务器可以确定该对象还处于检测区域内，则服务器可以在每一次识别到该对象时，重新设置缓存中该对象标识以及对象特征的失效时长，已进行下一轮的判定。
上述实施例中，通过设置缓存中对象标识以及对象特征的时效时长，并在时效时长内为识别到对应的对象时，删除该对象标识以及对象特征，从而，可以对缓存中的非必要数据进行实时自动删除处理，避免缓存中数据积压致使服务器运行缓慢。
在其中一个实施例中，对拼接图像进行对象特征的提取是通过预先训练的神经网络模型进行的。
其中，神经网络模型可以以yolov3为主，例如，参考图5，神经网络模型是以Darknet-53为识别的主干网络。Darknet-53网络的详细参数如附图6所示，其中，Convolutional表示的是卷积层，Residual表示残差层，方框前的数字表示相同的模式重复的次数。
在本实施例中，参考图7，示出了图5中神经网络模型中部分网络模块的详细结构示意图。
其中，DBL是Darknet-53神经网络中的Darknetconv2d_BN_Leaky模块，是yolov3的基本组件，即卷积层+BN层(Batch Normalization 批量归一化)+Leaky relu激活函数，其具体结构见图7（a）所示。
Res_unit展示了残差模块的基本构成，add表示矩阵按位加法运算，其具体结构见图7（b）所示。
Resblock_body是图5中命名模式为resn的组成方式。其中，n代表数字，有res1，res2, … ,res8等，表示这个Resblock_body里含有多少个res_unit。具体地，其具体结构见图7（c）所示。
在本实施例中，继续参考图5，附图5中的concat意为张量拼接，将神经网络中某层和后面的某一层的进行拼接。拼接的操作和残差层add的操作是不一样的，拼接会扩充张量的维度，而add只是直接按位相加不会导致张量维度的改变。
进一步，参考图8，示出了一种神经网络模块IDM（identity_metric_module）的结构示意图。IDM通过与Yolov3主识别网络进行add(矩阵按位加法)运算，把采集设备的内参参数、采集设备的位置参数、重叠区域标注与经过Yolov3神经网络识别的图像特征进行合并，使得整个网路输出各对象的对象特征、对象识别框以及对象的相似度。在本实施例中，IDM模块的详细组成如附图9所示。
在本实施例中，参考图10，神经网络模型的生成方式可以包括：
步骤S1002，获取训练集图像。
具体地，服务器可以以相邻采集设备采集的历史图像作为训练集图像，以对模型进行训练。
步骤S1004，通过标注框对训练集图像中的重叠区域以及对象分别进行标注，分别得到训练集图像中重叠区域以及各对象的位置信息和类别信息。
在本实施例中，服务器可以对两个相邻采集设备同时间连续帧的实时图像进行对象关联标注，同时分别标注出相邻采集设备的视野的交集。具体地，批注的信息可以通过IDM模块的输入模型。
可选地，IDM模块的输入信息还可以包括：有重叠视野的2个采集设备同一时间段内的视频，例如{Vi}；两个相邻采集设备的重叠视野标注，例如{[Xc1,Yc1,Wc1,Hc1],[Xc2,Yc2,Wc2,Hc2]}；各采集设备距地面高度，例如，C1采集设备距地面高度Heightc1、C2采集设备距地面高度Heightc2；相邻采集设备投射到水平地面上点的直线距离，例如Lc；各采集设备的设备参数，例如C1采集设备的方向角Ac1、俯仰角Bc1、偏转角Tc1、焦距Zc1、感光元件面积Sc1、图片分辨率Pc1，C2采集设备的方向角Ac2、俯仰角Bc2、偏转角Tc2、焦距Zc2、感光元件面积Sc2、图片分辨率Pc2等。
步骤S1006，对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像。
具体地，在将训练集图像输入神经网络模型之前，服务器可以根据神经网络模型的输入尺寸的要求，对训练集图像进行图像填充以及图像缩放处理，得到与神经网络模型要求的输入尺寸一致的训练集图像，例如，416*416。
步骤S1008，将训练集图像输入构建的神经网络模型，对训练集图像进行对象特征的提取，得到多个尺度的对象特征。
具体地，神经网络模型的整体架构如附图11所示，神经网络模型可以在经过3次下采样之后，在3个不同的维度上输出对象特征。
在本实施例中，参考图12，当神经网路模型输入的图片分辨率大小为416*416时，神经网络模型会在一张图片的3个维度上一共做出13*13*3+26*26*3+52*52*3=10647个对象识别预测。
步骤S1010，对各尺度的对象特征进行特征融合，得到对应各尺度的对象特征的预测框。
具体地，服务器可以通过相邻两阶层特征融合的方式，对得到的各尺度的对象特征进行特征融合，并生成对应各尺度的预测框。
步骤S1012，基于标注框，确定对应各尺度的预测框的损失值，并通过损失值更新模型参数。
具体地，服务器可以通过损失函数对每个预测框的类别得分、置信度得分、框的中心坐标、宽度尺寸以及高度尺寸相比于批注框的类别、中心坐标、宽度尺寸以及高度尺寸的损失值进行计算，并根据计算得到的损失值经过反向传播后求取模型梯度，并对模型的各权重参数进行更新，得到权重参数更新后的神经网络模型。
在本实施例中，服务器可以通过多种不同的损失函数对不同参数进行损失值的计算，例如，置信度损失函数可以是交叉熵函数、对象识别框坐标回归损失函数可以是SmoothL1Loss、对象的相似度可以是triple loss损失函数、对象的对象特征采用tripleloss损失函数，triple loss损失函数如下所示：
其中，
是识别出来对象特征的一个实例用来作为标点，
是错误的识别，
是正确的识别。
步骤S1014，对神经网络模型进行迭代处理，得到训练后的神经网络模型。
具体地，服务器可以根据预先设置的学习率，对模型进行迭代处理，以得到训练完成的神经网络模型。
上述实施例中，通过预先训练的神经网络模型对拼接图像进行对象特征的提取，可以提升识别处理速率以及准确性，进而可以提升对对象进行追踪的准确性。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图13所示，提供了一种对象追踪装置，包括：实时图像获取模块100、特征提取模块200、同一对象确定模块300和对象标识框添加模块400，其中：
实时图像获取模块100，用于获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，拼接图像包括相邻采集设备的实时图像的重叠区域。
特征提取模块200，用于对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
同一对象确定模块300，用于确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识。
对象标识框添加模块400，用于获取拼接图像对应的各实时图像，将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。
在其中一个实施例中，特征提取模块200可以包括：
特征提取子模块，用于对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框以及对象特征。
相似度生成模块，用于基于各对象的对象特征，计算各对象特征之间的特征距离，并基于得到的特征距离，确定重叠区域中的各对象为同一对象的相似度。
在其中一个实施例中，上述装置还可以包括：
设备标识获取模块，用于获取实时图像携带的采集设备的设备标识，并基于设备标识获取对应的设备参数。
空间特征生成模块，用于根据获取的设备参数，得到对应实时图像的空间特征。
特征提取模块200用于对重叠区域进行对象特征的提取，并基于生成的空间特征，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
在其中一个实施例中，上述装置还可以包括：
同一对象判定模块，用于特征提取模块200对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度之后，基于缓存中已有的对象特征，以及对重叠区域中各对象进行特征提取后得到的对象特征，分别判断缓存中是否存在与重叠区域中各对象对应为同一对象的目标对象。
对象标识获取模块，用于当缓存中存在与重叠区域中对象对应为同一对象的目标对象时，则获取缓存中目标对象的对象标识，作为重叠区域中对象的对象标识，并添加至重叠区域中对象对应的对象识别框。
对象标识生成模块，用于当缓存中不存在与重叠区域中对象对应为同一对象的目标对象时，则生成对应重叠区域中对象的对象标识，添加至对象的对象识别框，并将生成的对象标识以及对象的对象特征存入缓存。
在其中一个实施例中，上述装置还可以包括：
时长设置模块，用于当对象标识生成模块将生成的对象标识以及对象的对象特征存入缓存之后，设置缓存中对象标识以及对象特征的失效时长。
删除模块，用于当在失效时长内，未识别到与对象特征对应的同一对象时，则删除缓存中的对象标识以及对象特征。
时长重置模块，用于当在失效时长内，识别到与对象特征对应的同一对象时，则重新设置缓存中对象标识以及对象特征的失效时长。
在其中一个实施例中，特征提取模块200对拼接图像进行对象特征的提取是通过训练模块预先训练的神经网络模型进行的，训练模块可以包括：
训练集图像获取子模块，用于获取训练集图像。
标注子模块，用于通过标注框对训练集图像中的重叠区域以及对象分别进行标注，分别得到训练集图像中重叠区域以及各对象的位置信息和类别信息。
归一化处理子模块，用于对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像。
多尺度对象特征生成子模块，用于将训练集图像输入构建的神经网络模型，对训练集图像进行对象特征的提取，得到多个尺度的对象特征。
特征融合子模块，用于对各尺度的对象特征进行特征融合，得到对应各尺度的对象特征的预测框。
损失处理子模块，用于基于标注框，确定对应各尺度的预测框的损失值，并通过损失值更新模型参数。
迭代处理子模块，用于对神经网络模型进行迭代处理，得到训练后的神经网络模型。
关于对象追踪装置的具体限定可以参见上文中对于对象追踪方法的限定，在此不再赘述。上述对象追踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储实时图像、拼接图像、对象标识以及对象特征等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象追踪方法。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，拼接图像包括相邻采集设备的实时图像的重叠区域；对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度；确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识；获取拼接图像对应的各实时图像，将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。
在其中一个实施例中，处理器执行计算机程序时实现对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，可以包括：对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框以及对象特征；基于各对象的对象特征，计算各对象特征之间的特征距离，并基于得到的特征距离，确定重叠区域中的各对象为同一对象的相似度。
在其中一个实施例中，处理器执行计算机程序时实现上述方法还包括：获取实时图像携带的采集设备的设备标识，并基于设备标识获取对应的设备参数；根据获取的设备参数，得到对应实时图像的空间特征。处理器执行计算机程序时实现对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，可以包括：对重叠区域进行对象特征的提取，并基于生成的所述空间特征，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
在其中一个实施例中，处理器执行计算机程序时实现对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度之后，还可以包括：基于缓存中已有的对象特征，以及对重叠区域中各对象进行特征提取后得到的对象特征，分别判断缓存中是否存在与重叠区域中各对象对应为同一对象的目标对象；当缓存中存在与重叠区域中对象对应为同一对象的目标对象时，则获取缓存中目标对象的对象标识，作为重叠区域中对象的对象标识，并添加至重叠区域中对象对应的对象识别框；当缓存中不存在与重叠区域中对象对应为同一对象的目标对象时，则生成对应重叠区域中对象的对象标识，添加至对象的对象识别框，并将生成的对象标识以及对象的对象特征存入缓存。
在其中一个实施例中，处理器执行计算机程序时实现将生成的对象标识以及对象的对象特征存入缓存之后，还可以包括：设置缓存中对象标识以及对象特征的失效时长；当在失效时长内，未识别到与对象特征对应的同一对象时，则删除缓存中的对象标识以及对象特征；当在失效时长内，识别到与对象特征对应的同一对象时，则重新设置缓存中对象标识以及对象特征的失效时长。
在其中一个实施例中，处理器执行计算机程序时实现对拼接图像进行对象特征的提取是通过预先训练的神经网络模型进行的，神经网络模型的生成方式可以包括：获取训练集图像；通过标注框对训练集图像中的重叠区域以及对象分别进行标注，分别得到训练集图像中重叠区域以及各对象的位置信息和类别信息；对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；将训练集图像输入构建的神经网络模型，对训练集图像进行对象特征的提取，得到多个尺度的对象特征；对各尺度的对象特征进行特征融合，得到对应各尺度的对象特征的预测框；基于标注框，确定对应各尺度的预测框的损失值，并通过损失值更新模型参数；对神经网络模型进行迭代处理，得到训练后的神经网络模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，拼接图像包括相邻采集设备的实时图像的重叠区域；对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度；确定相似度满足预设阈值的多个对象为同一对象，并为同一对象对应的对象识别框添加同一对象标识；获取拼接图像对应的各实时图像，将携带有同一对象标识的对象标识框添加至各实时图像中，以对同一对象进行追踪。
在其中一个实施例中，计算机程序被处理器执行时实现对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，可以包括：对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框以及对象特征；基于各对象的对象特征，计算各对象特征之间的特征距离，并基于得到的特征距离，确定重叠区域中的各对象为同一对象的相似度。
在其中一个实施例中，计算机程序被处理器执行时实现上述方法还包括：获取实时图像携带的采集设备的设备标识，并基于设备标识获取对应的设备参数；根据获取的设备参数，得到对应实时图像的空间特征。计算机程序被处理器执行时实现对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度，可以包括：对重叠区域进行对象特征的提取，并基于生成的空间特征，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
在其中一个实施例中，计算机程序被处理器执行时实现对拼接图像的重叠区域进行对象特征的提取，得到重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度之后，还可以包括：基于缓存中已有的对象特征，以及对重叠区域中各对象进行特征提取后得到的对象特征，分别判断缓存中是否存在与重叠区域中各对象对应为同一对象的目标对象；当缓存中存在与重叠区域中对象对应为同一对象的目标对象时，则获取缓存中目标对象的对象标识，作为重叠区域中对象的对象标识，并添加至重叠区域中对象对应的对象识别框；当缓存中不存在与重叠区域中对象对应为同一对象的目标对象时，则生成对应重叠区域中对象的对象标识，添加至对象的对象识别框，并将生成的对象标识以及对象的对象特征存入缓存。
在其中一个实施例中，计算机程序被处理器执行时实现将生成的对象标识以及对象的对象特征存入缓存之后，还可以包括：设置缓存中对象标识以及对象特征的失效时长；当在失效时长内，未识别到与对象特征对应的同一对象时，则删除缓存中的对象标识以及对象特征；当在失效时长内，识别到与对象特征对应的同一对象时，则重新设置缓存中对象标识以及对象特征的失效时长。
在其中一个实施例中，计算机程序被处理器执行时实现对拼接图像进行对象特征的提取是通过预先训练的神经网络模型进行的，神经网络模型的生成方式可以包括：获取训练集图像；通过标注框对训练集图像中的重叠区域以及对象分别进行标注，分别得到训练集图像中重叠区域以及各对象的位置信息和类别信息；对标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；将训练集图像输入构建的神经网络模型，对训练集图像进行对象特征的提取，得到多个尺度的对象特征；对各尺度的对象特征进行特征融合，得到对应各尺度的对象特征的预测框；基于标注框，确定对应各尺度的预测框的损失值，并通过损失值更新模型参数；对神经网络模型进行迭代处理，得到训练后的神经网络模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种对象追踪方法，所述方法包括：
获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，所述拼接图像包括所述相邻采集设备的实时图像的重叠区域；
对所述拼接图像的重叠区域进行对象特征的提取，得到所述重叠区域中各对象的对象识别框、对象特征以及所述重叠区域中多个对象为同一对象的相似度；
确定所述相似度满足预设阈值的多个对象为同一对象，并为所述同一对象对应的对象识别框添加同一对象标识；
获取所述拼接图像对应的各实时图像，将携带有同一所述对象标识的对象标识框添加至所述各实时图像中，以对所述同一对象进行追踪。
2.根据权利要求1所述的方法，其特征在于，所述对所述拼接图像的重叠区域进行对象特征的提取，得到所述重叠区域中各对象的对象识别框、对象特征以及所述重叠区域中多个对象为同一对象的相似度，包括：
对所述拼接图像的重叠区域进行对象特征的提取，得到所述重叠区域中各对象的对象识别框以及对象特征；
基于各所述对象的对象特征，计算各所述对象特征之间的特征距离，并基于得到的所述特征距离，确定所述重叠区域中的各对象为同一对象的相似度。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述实时图像携带的采集设备的设备标识，并基于所述设备标识获取对应的设备参数；
根据获取的所述设备参数，得到对应所述实时图像的空间特征；
所述对所述拼接图像的重叠区域进行对象特征的提取，得到所述重叠区域中各对象的对象识别框、对象特征以及所述重叠区域中多个对象为同一对象的相似度，包括：
对所述重叠区域进行对象特征的提取，并基于生成的所述空间特征，得到所述重叠区域中各对象的对象识别框、对象特征以及重叠区域中多个对象为同一对象的相似度。
4.根据权利要求1所述的方法，其特征在于，所述对所述拼接图像的重叠区域进行对象特征的提取，得到所述重叠区域中各对象的对象识别框、对象特征以及所述重叠区域中多个对象为同一对象的相似度之后，还包括：
基于缓存中已有的对象特征，以及对所述重叠区域中各对象进行特征提取后得到的对象特征，分别判断缓存中是否存在与所述重叠区域中各对象对应为同一对象的目标对象；
当所述缓存中存在与所述重叠区域中对象对应为同一对象的目标对象时，则获取缓存中所述目标对象的对象标识，作为所述重叠区域中所述对象的对象标识，并添加至所述重叠区域中对象对应的对象识别框；
当所述缓存中不存在与所述重叠区域中对象对应为同一对象的目标对象时，则生成对应所述重叠区域中对象的对象标识，添加至所述对象的对象识别框，并将生成的所述对象标识以及所述对象的对象特征存入所述缓存。
5.根据权利要求4所述的方法，其特征在于，所述将生成的所述对象标识以及所述对象的对象特征存入所述缓存之后，还包括：
设置缓存中所述对象标识以及所述对象特征的失效时长；
当在所述失效时长内，未识别到与所述对象特征对应的同一对象时，则删除所述缓存中的所述对象标识以及所述对象特征；
当在所述失效时长内，识别到与所述对象特征对应的同一对象时，则重新设置缓存中所述对象标识以及所述对象特征的失效时长。
6.根据权利要求1所述的方法，其特征在于，所述对所述拼接图像进行对象特征的提取是通过预先训练的神经网络模型进行的，所述神经网络模型的生成方式包括：
获取训练集图像；
通过标注框对所述训练集图像中的重叠区域以及对象分别进行标注，分别得到所述训练集图像中重叠区域以及各对象的位置信息和类别信息；
对所述标注后的训练集图像进行归一化处理，得到与预设尺寸一致的训练集图像；
将所述训练集图像输入构建的神经网络模型，对所述训练集图像进行对象特征的提取，得到多个尺度的对象特征；
对各尺度的对象特征进行特征融合，得到对应各尺度的对象特征的预测框；
基于所述标注框，确定对应各尺度的预测框的损失值，并通过所述损失值更新模型参数；
对所述神经网络模型进行迭代处理，得到训练后的神经网络模型。
7.一种对象追踪装置，其特征在于，所述装置包括：
实时图像获取模块，用于获取相邻采集设备采集的实时图像，并将相邻采集设备采集的实时图像进行拼接处理，得到拼接图像，所述拼接图像包括所述相邻采集设备的实时图像的重叠区域；
特征提取模块，用于对所述拼接图像的重叠区域进行对象特征的提取，得到所述重叠区域中各对象的对象识别框、对象特征以及所述重叠区域中多个对象为同一对象的相似度；
同一对象确定模块，用于确定所述相似度满足预设阈值的多个对象为同一对象，并为所述同一对象对应的对象识别框添加同一对象标识；
对象标识框添加模块，用于获取所述拼接图像对应的各实时图像，将携带有同一所述对象标识的对象标识框添加至所述各实时图像中，以对所述同一对象进行追踪。
8.根据权利要求7所述的装置，其特征在于，所述特征提取模块，包括：
特征提取子模块，用于对所述拼接图像的重叠区域进行对象特征的提取，得到所述重叠区域中各对象的对象识别框以及对象特征；
相似度生成模块，用于基于各所述对象的对象特征，计算各所述对象特征之间的特征距离，并基于得到的所述特征距离，确定所述重叠区域中的各对象为同一对象的相似度。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010159817.9A CN111008621B (zh) | 2020-03-10 | 2020-03-10 | 对象追踪方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010159817.9A CN111008621B (zh) | 2020-03-10 | 2020-03-10 | 对象追踪方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111008621A true CN111008621A (zh) | 2020-04-14 |
| CN111008621B CN111008621B (zh) | 2020-07-07 |
Family
ID=70121076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010159817.9A Active CN111008621B (zh) | 2020-03-10 | 2020-03-10 | 对象追踪方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111008621B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860192A (zh) * | 2020-06-24 | 2020-10-30 | 国网宁夏电力有限公司检修公司 | 一种移动物体的识别方法及系统 |
| CN113674312A (zh) * | 2021-06-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标跟踪特写方法及装置 |
| CN116112782A (zh) * | 2022-05-25 | 2023-05-12 | 荣耀终端有限公司 | 录像方法和相关装置 |
| WO2023093120A1 (zh) * | 2021-11-23 | 2023-06-01 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备、存储介质和计算机程序产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8248480B2 (en) * | 2008-02-29 | 2012-08-21 | Casio Computer Co., Ltd. | Imaging apparatus provided with panning mode for taking panned image |
| CN105787876A (zh) * | 2015-12-31 | 2016-07-20 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
| CN110866889A (zh) * | 2019-11-18 | 2020-03-06 | 成都威爱新经济技术研究院有限公司 | 一种监控系统中的多相机数据融合方法 |
-
2020
- 2020-03-10 CN CN202010159817.9A patent/CN111008621B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8248480B2 (en) * | 2008-02-29 | 2012-08-21 | Casio Computer Co., Ltd. | Imaging apparatus provided with panning mode for taking panned image |
| CN105787876A (zh) * | 2015-12-31 | 2016-07-20 | 上海颐本信息科技有限公司 | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 |
| CN110866889A (zh) * | 2019-11-18 | 2020-03-06 | 成都威爱新经济技术研究院有限公司 | 一种监控系统中的多相机数据融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘彩虹等: "交通路口监控视频跨视域多目标跟踪的可视化", 《计算机学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860192A (zh) * | 2020-06-24 | 2020-10-30 | 国网宁夏电力有限公司检修公司 | 一种移动物体的识别方法及系统 |
| CN113674312A (zh) * | 2021-06-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 目标跟踪特写方法及装置 |
| WO2023093120A1 (zh) * | 2021-11-23 | 2023-06-01 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备、存储介质和计算机程序产品 |
| CN116112782A (zh) * | 2022-05-25 | 2023-05-12 | 荣耀终端有限公司 | 录像方法和相关装置 |
| CN116112782B (zh) * | 2022-05-25 | 2024-04-02 | 荣耀终端有限公司 | 录像方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111008621B (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111008621B (zh) | 对象追踪方法、装置、计算机设备和存储介质 | |
| CN110517278B (zh) | 图像分割和图像分割网络的训练方法、装置和计算机设备 | |
| CN111950329A (zh) | 目标检测及模型训练方法、装置、计算机设备和存储介质 | |
| CN108399367B (zh) | 手部动作识别方法、装置、计算机设备及可读存储介质 | |
| CN109344742B (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
| CN108446585B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN107808111B (zh) | 用于行人检测和姿态估计的方法和装置 | |
| CN112560796B (zh) | 人体姿态实时检测方法、装置、计算机设备及存储介质 | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| KR101891887B1 (ko) | 실시간 영상을 이용하여 위험 상황을 예측하기 위한 영상 처리 방법, 장치 및 그를 이용하여 위험 상황을 예측하는 방법, 서버 | |
| CN110620905A (zh) | 视频监控方法、装置、计算机设备和存储介质 | |
| CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
| CN111753643B (zh) | 人物姿态识别方法、装置、计算机设备和存储介质 | |
| CN111666922A (zh) | 视频匹配方法、装置、计算机设备和存储介质 | |
| CN112651291A (zh) | 基于视频的姿势估计方法、装置、介质及电子设备 | |
| CN112749655B (zh) | 视线追踪方法、装置、计算机设备和存储介质 | |
| KR20220076398A (ko) | Ar장치를 위한 객체 인식 처리 장치 및 방법 | |
| CN113034550A (zh) | 跨镜行人轨迹追踪的方法、系统、电子装置和存储介质 | |
| CN110046577B (zh) | 行人属性预测方法、装置、计算机设备和存储介质 | |
| CN113516778A (zh) | 模型训练数据获取方法、装置、计算机设备和存储介质 | |
| CN111159476B (zh) | 目标对象的搜索方法、装置、计算机设备及存储介质 | |
| CN111047088A (zh) | 预测图像获取方法、装置、计算机设备和存储介质 | |
| CN108875611B (zh) | 视频动作识别方法和装置 | |
| CN113192175A (zh) | 模型训练方法、装置、计算机设备和可读存储介质 | |
| CN114565955B (zh) | 人脸属性识别模型训练、社区人员监控方法、装置、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Hao Lin Inventor after: Wang Guoquan Inventor after: Ye Dejian Inventor before: Request for anonymity |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |