CN110895819B - 目标跟踪方法、装置、计算机可读存储介质和计算机设备 - Google Patents

目标跟踪方法、装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN110895819B
CN110895819B CN201811061261.9A CN201811061261A CN110895819B CN 110895819 B CN110895819 B CN 110895819B CN 201811061261 A CN201811061261 A CN 201811061261A CN 110895819 B CN110895819 B CN 110895819B
Authority
CN
China
Prior art keywords
depth image
processed
target object
image
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811061261.9A
Other languages
English (en)
Other versions
CN110895819A (zh
Inventor
唐铭希
马源
胡荣东
谢林江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201811061261.9A priority Critical patent/CN110895819B/zh
Publication of CN110895819A publication Critical patent/CN110895819A/zh
Application granted granted Critical
Publication of CN110895819B publication Critical patent/CN110895819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标跟踪方法，其包括：获取深度图像序列中的待处理深度图像；对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息；根据历史目标对象的位置描述信息及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度，历史目标对象从已处理深度图像包含的待定目标对象中选取，已处理深度图像包括深度图像序列中位于待处理深度图像之前的深度图像；根据相似度，更新历史目标对象的置信度和位置描述信息；将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。本申请提供的方案可减少目标跟踪的工作量。

Description

目标跟踪方法、装置、计算机可读存储介质和计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种目标跟踪方法、装置、计算机可读存储介质和计算机设备。
背景技术
目标跟踪，是获取图像采集器采集的图像序列，并在图像序列中找到跟踪目标对象的过程，具体可以涉及到获取跟踪目标对象的大小、实时位置、运动速度、运动方向等信息。目标跟踪广泛应用于无人机、智能机器人、安防监控、无人驾驶等领域，具有重要意义。
在传统技术中，先按照人为设计的图像特征对图像进行特征提取，再将提取到的特征输入至预先训练的机器学习模型中，确定图像包含的待定目标对象，从而实现目标跟踪。然而，人为设计图像特征的工作难度较大，且适用范围有限；而且，需要采集大量的样本图像来训练机器学习模型，各样本图像均需要标注类别标签，采集和标注的工作耗时耗力，且仅对已知类别的待定目标对象有效。
发明内容
基于此，有必要针对传统技术中设计图像特征难度大，工作量较大，且仅对已知类别的待定目标对象有效的技术问题，提供一种目标跟踪方法、装置、计算机可读存储介质和计算机设备。
一种目标跟踪方法，包括：
获取待处理深度图像；
对所述待处理深度图像进行目标标记，获取所述待处理深度图像包含的待定目标对象的位置描述信息；
根据历史目标对象的位置描述信息、以及所述待处理深度图像包含的待定目标对象的位置描述信息，确定所述历史目标对象与所述待处理深度图像包含的待定目标对象之间的相似度；所述历史目标对象从已处理深度图像包含的待定目标对象中选取，所述已处理深度图像包括所述待处理深度图像所在的深度图像序列中、位于所述待处理深度图像之前的深度图像；
根据所述相似度，更新所述历史目标对象的置信度和位置描述信息；
将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。
一种目标跟踪装置，包括：
深度图像获取模块，用于获取待处理深度图像；
位置信息获取模块，用于对所述待处理深度图像进行目标标记，获取所述待处理深度图像包含的待定目标对象的位置描述信息；
相似度计算模块，用于根据历史目标对象的位置描述信息、以及所述待处理深度图像包含的待定目标对象的位置描述信息，确定所述历史目标对象与所述待处理深度图像包含的待定目标对象之间的相似度；所述历史目标对象从已处理深度图像包含的待定目标对象中选取，所述已处理深度图像包括所述待处理深度图像所在的深度图像序列中、位于所述待处理深度图像之前的深度图像；
信息更新模块，用于根据所述相似度，更新所述历史目标对象的置信度和位置描述信息；
跟踪对象确定模块，用于将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述目标跟踪方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述目标跟踪方法的步骤。
上述目标跟踪方法、装置、计算机可读存储介质和计算机设备，对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息，并确定从深度图像序列中位于待处理深度图像之前的深度图像包含的待定目标对象中选出的历史目标对象、与待处理深度图像包含的待定目标对象之间的相似度，再根据相似度更新历史目标对象的置信度和位置描述信息，进而将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。如此，仅依靠深度图像本身包含的深度信息即可标记出待处理深度图像包含的待定目标对象，而无需人为设计图像特征，将图像特征输入至预先训练的机器学习模型中进行目标对象的检测，有效地降低了工作难度和工作量，且可以标记出类别未知的待定目标对象。
附图说明
图1为一个实施例中目标跟踪方法的应用环境图；
图2为一个实施例中目标跟踪方法的流程示意图；
图3为一个实施例中目标标记的结果示意图；
图4为一个实施例中目标标记装置的结构框图；
图5为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请所使用的术语“第一”、“第二”等是用于对类似的对象作出命名上的区分，但这些对象本身不受这些术语限制。应当理解，在不脱离本申请的范围的情况下，这些术语在适当的情况下可以互换。例如，可将“第一置信度阈值”描述为“第二置信度阈值”，且类似地，将“第二置信度阈值”描述为“第一置信度阈值”。
此外，本申请所使用的术语“包括”、“包含”、“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于已清楚地列出的步骤或单元，而是还可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1为一个实施例中目标跟踪方法的应用环境图。参照图1，该目标跟踪方法应用于终端110。终端110可以包括图像采集器和控制器，图像采集器和控制器可以通过有线或无线的方式连接。
具体地，图像采集器可以采集实际场景，并将得到的采集结果发送至控制器。控制器根据采集结果得到相应的待处理深度图像；然后，对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息；进而，根据历史目标对象的位置描述信息、以及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度，其中，历史目标对象从已处理深度图像包含的待定目标对象中选取，已处理深度图像包括待处理深度图像所在的深度图像序列中位于待处理深度图像之前的深度图像；继而，根据相似度，更新历史目标对象的置信度和位置描述信息；而后，将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。
终端110可以是车辆系统，比如无人驾驶车。图像采集器可以采用摄像机。控制器可以采用微控制器，比如应用于车辆系统时，控制器可以是车载控制器。
如图2所示，在一个实施例中，提供了一种目标跟踪方法。本实施例以该方法应用于上述图1中的控制器为例进行说明。该方法可以包括如下步骤S202至S208。
S202，获取待处理深度图像。
深度图像(Depth Image)，也被称为距离图像(Range Image)，是将从图像采集器采集到场景中各点的距离(深度)作为像素值的图像。待处理深度图像，是待进行目标标记的深度图像。
对于待处理深度图像而言，可以确定出其所在的深度图像序列。深度图像序列，是深度图像按照时间顺序排列形成的图像序列。深度图像序列中的各帧深度图像，将按照排列的先后顺序依次作为待处理深度图像，比如深度图像序列包括10帧深度图像(由前往后依次为深度图像DP1-1至DP1-10)，则首先将深度图像DP1-1作为待处理深度图像，执行本申请各实施例提供的目标跟踪方法中的步骤，再将深度图像DP1-2作为待处理深度图像，执行本申请各实施例提供的目标跟踪方法中的步骤，以此类推，最后将DP1-10作为待处理深度图像，执行本申请各实施例提供的目标跟踪方法中的步骤。需要说明的是，深度图像序列可以随着时间推移而更新，比如在t1时刻，得到深度图像DP1-1，此时深度图像序列仅包含深度图像DP1-1，在t1时刻之后的t2时刻，得到深度图像DP1-2，此时深度图像序列包含深度图像DP1-1和深度图像DP1-2，以此类推。
待处理深度图像，可以根据图像采集器采集实际场景的采集结果得到。图像采集器，可以是具备图像采集功能的设备，比如摄像头。在一个实施例中，图像采集器可以采用普通数字摄像头，采集结果相应是普通的场景图像，在此情况下，图像采集器将采集到的场景图像发送至控制器，控制器根据场景图像确定深度信息，进而得到待处理深度图像。在另一个实施例中，图像采集器也可以采用深度摄像头，即采集时可以获得图像的深度信息的摄像头，比如TOF(Time Of Flight，飞行时间)摄像头，采集结果相应是深度图像，在此情况下，图像采集器将采集到的深度图像发送至控制器，控制器直接获取现成的待处理深度图像，而无需再进行根据场景图像确定深度信息，进而得到待处理深度图像的操作。
S204，对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息。
目标标记，是在图像中将感兴趣的图像区域标记出来。待定目标对象，即为待处理深度图像中的感兴趣的图像区域，感兴趣的图像区域比如被拍摄的实际场景中的障碍物所在的图像区域。以摄像头拍摄道路场景为例，道路场景中阻碍本车行驶的物体在待处理深度图像中所在的图像区域，即可以为感兴趣的图像区域，阻碍本车行驶的物体比如行人、本车以外的其他车辆、护栏、交通指示牌等等。
在实际应用中，待处理深度图像中包含的待定目标对象的数目可以是一个，也可以多于一个。在待定目标对象的数目多于一个时，各待定目标对象可以对应不同的障碍物。
在一个实施例中，对待处理深度图像进行目标标记，具体可以是根据深度图像中的深度信息对图像中的各像素点进行分类，将各像素点划归为目标像素点(即对应于待定目标对象的像素点)和非目标像素点(对应于非待定目标对象的像素点)，再根据属于目标像素点的各像素点所构成的图像区域确定待定目标对象。
需要说明的是，待处理深度图像包含多于一个的待定目标对象时，目标像素点具体细分为各待定目标对象分别对应的目标像素点。比如，图3中左图所示的待处理深度图像中包含100个像素点(分别为像素点1至像素点100)，对该待处理深度图像进行目标标记后，根据像素点12、13、22、23、32以及33构成的图像区域确定一个待定目标对象(图3右图中以待定目标对象A标识)，根据像素点45～47、55～57、65～67以及75～77构成的图像区域确定另一个待定目标对象(图3右图中以待定目标对象B标识)，根据像素点19、20、29、30、39、40、49、50、59以及60构成的图像区域确定再一个待定目标对象(图3右图中以待定目标对象C标识)，这三个待定目标对象是不同的待定目标对象。
此外，根据深度图像中的像素点的深度信息进行目标标记，无需提前知晓待定目标对象的类别，而可以在深度图像中标记出任意类别的待定目标对象。通俗而言，不是已经知道待定目标对象是行人，进而在深度图像中寻找属于行人的像素点，而是将深度信息满足一定条件的各像素点所构成的图像区域认为是一个待定目标对象，但这个待定目标对象的具体类别是未知的，即只知道标记出了一个待定目标对象，但不知道这个待定目标对象是行人、还是车辆、还是交通指示牌等等。
位置描述信息，可以用于表征待处理深度图像包含的待定目标对象的位置。在一个实施例中，位置描述信息可以包括包络框、深度及中心点。待定目标对象的包络框，是该待定目标对象在待处理深度图像中的边界框，包络框具体可以是矩形框。待定目标对象的深度，是图像采集器到该待定目标对象所对应的实际障碍物的距离，其可以根据构成该待定目标对象的各像素点的深度确定，比如可以将构成待定目标对象的各像素点的深度的均值作为该待定目标对象的深度。待定目标对象的中心点，可以是待定目标对象的几何中心点，也可以是待定目标对象的重心点等等，比如可以将待定目标对象的包络框的几何中心点作为待定目标对象的中心点。
S206，根据历史目标对象的位置描述信息、以及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度。
历史目标对象，从已处理深度图像包含的待定目标对象中选取。已处理深度图像包括深度图像序列中位于待处理深度图像之前的各帧深度图像。比如，深度图像序列包括4帧深度图像(按照由前往后的顺序依次为深度图像DP2-1至DP2-4)，深度图像DP2-1至DP2-4依次被作为待处理深度图像，当深度图像DP2-3被作为待处理深度图像时，已处理深度图像则包括深度图像DP2-1和DP2-2，假设确定出深度图像DP2-1包含待定目标对象D1和D2、深度图像DP2-2包含待定目标对象D3、D4以及D5，历史目标对象是从待定目标对象D1、D2、D3、D4、以及D5中选取出来的。此外，历史目标对象可以是一个，也可以多于一个。
在一个实施例中，可以以目标集合的方式存储历史目标对象的位置描述信息，即目标集合中记录各历史目标对象的位置描述信息。比如，当深度图像DP2-3被作为待处理深度图像时，共计有三个历史目标对象(分别为历史目标对象H3、H4以及H5)，则目标集合中记录历史目标对象H3的位置描述信息、历史目标对象H4的位置描述信息、以及历史目标对象H5的位置描述信息。此外，目标集合的数据形态可以是数据库文件。
相似度，用于衡量两个目标对象的相似程度。具体地，当两个目标对象的相似度超过相似度阈值时，则可以判定这两个目标对象互为彼此的相似目标对象，即可以认为这两个目标对象对应同一实际障碍物。比如，某一待定目标对象和某一历史目标对象之间的相似度超过相似度阈值，则可以判定该待定目标对象和该历史目标对象互为彼此的相似目标对象，即可以认为该待定目标对象和该历史目标对象对应同一实际障碍物。其中，相似度阈值可以根据实际需求预先设定。在一个实施例中，可以采用计算巴氏距离的方式确定相似度，但并不局限于该确定方式。
对于待处理深度图像包含的待定目标对象或历史目标对象多于一个的情况，可以以排列组合的方式确定待处理深度图像包含的各待定目标对象分别与各历史目标对象之间的相似度。比如，待处理深度图像包含四个待定目标对象(分别为待定目标对象D9、D10、D11以及D12)，共有三个历史目标对象(分别为历史目标对象H6、H7以及H8)，则确定待定目标对象D9分别与历史目标对象H6、D7以及D8之间的相似度，即D9与H6之间的相似度、D9与H7之间的相似度、以及D9与H8之间的相似度，类似地，确定待定目标对象D10分别与历史目标对象H6、H7以及H8之间的相似度，待定目标对象D11分别与历史目标对象H6、H7以及H8之间的相似度，待定目标对象D12分别与历史目标对象H6、H7以及H8之间的相似度，共计12个相似度(下文将该示例简称为示例E-1)。
S208，根据各相似度，更新历史目标对象的置信度和位置描述信息。
置信度，可以用于表征相应历史目标对象属于跟踪目标对象的概率。各历史目标对象均具有与之对应的置信度。
在一个实施例中，将深度图像序列中的各深度图像依次作为待处理深度图像进行处理的过程中，可以每处理一帧待处理深度图像，就更新一次各历史目标对象的置信度，并对相似度满足相应条件的历史目标对象，更新其位置描述信息。
具体地，对于历史目标对象，若待处理深度图像中出现了与其相似度超过相似度阈值的待定目标对象，则增加该历史目标对象的置信度，并根据与其相似度超过相似度阈值的待定目标对象的位置描述信息，更新该历史目标对象的位置描述信息。相反地，对于历史目标对象，若待处理深度图像中未出现与其相似度超过相似度阈值的待定目标对象，则降低该历史目标对象的置信度，且不对该历史目标对象的位置描述信息进行更新。
S210，将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。
跟踪目标对象，是需要跟踪的目标对象，具体是置信度符合筛选条件的历史目标对象。
在一个实施例中，可以每根据待处理深度图像更新一次历史目标对象的置信度和位置描述信息，便判断一次是否存在置信度符合筛选条件的历史目标对象。若存在，则将符合筛选条件的历史目标对象确定为跟踪目标对象，相应地，符合筛选条件的历史目标对象的位置描述信息，即为跟踪目标对象的位置描述信息。若不存在，则继续获取深度图像序列中的下一帧待处理深度图像并进行后续处理。
在一个实施例中，筛选条件可以包括置信度高于第二置信度阈值(本质为预先设定的置信度阈值，以“第二”描述，是为了与不同于该置信度阈值的其他置信度阈值作出命名上的区分)。据此，将置信度高于第二置信度阈值的历史目标对象确定为跟踪目标对象；反之，置信度低于第二置信度阈值的历史目标对象便不作为跟踪目标对象。可以理解，筛选条件的设定并不局限于此，而是可以根据实际需求预先设定。
在一个实施例中，第二置信度阈值可以根据待处理深度图像所涉及的图像采集器的图像采集帧率确定。
需要说明的是，将置信度符合筛选条件的历史目标对象确定为跟踪目标对象，由于对于历史目标对象，若待处理深度图像中出现了与其相似度超过相似度阈值的待定目标对象，则增加该历史目标对象的置信度，反之降低该历史目标对象的置信度，然而，误匹配通常是离散的，即误匹配目标对象不会持续性存在，因此其置信度不会持续增加，也就难以高于第二置信度阈值，进而不会被判定为跟踪目标对象，据此起到了过滤误匹配目标对象的作用，有效地降低了确定跟踪目标对象的误差。
上述目标跟踪方法，对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息，并确定从深度图像序列中位于待处理深度图像之前的深度图像包含的待定目标对象中选出的历史目标对象、与待处理深度图像包含的待定目标对象之间的相似度，再根据相似度更新历史目标对象的置信度和位置描述信息，进而将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。如此，仅依靠深度图像本身包含的深度信息即可标记出待处理深度图像包含的待定目标对象，而无需人为设计图像特征，将图像特征输入至预先训练的机器学习模型中进行目标对象的检测，有效地降低了工作难度和工作量，且可以标记出类别未知的待定目标对象。
在一个实施例中，获取深度图像序列中的待处理深度图像的步骤，即步骤S202，可以包括如下步骤：获取场景图像序列中的待处理场景图像；根据采集至少两帧图像所使用的图像采集器的标定结果对至少两帧图像进行校正，得到校正图像；对校正图像进行立体匹配，得到视差图像；根据视差图像，得到与待处理场景图像对应的待处理深度图像。
场景图像序列，是场景图像按照时间顺序排列形成的图像序列。场景图像，是由普通数字摄像头拍摄实际场景得到的图像。待处理场景图像，是场景图像序列中需要得到其对应的深度图像的场景图像，其包括在同一拍摄时刻下，分别从不同的成像角度采集同一场景得到的至少两帧图像(下文简称为一组场景图像)。在本实施例中，场景图像序列中包括多组场景图像，各组场景图像按照排列的顺序依次作为待处理场景图像。
在一个实施例中，图像采集器具体可以是多目摄像机，即通过多目摄像机拍摄实际场景得到场景图像序列。多目摄像机包括两个以上(含两个)的摄像头，一般情况下，各个摄像头同时工作，同一拍摄时刻下的多帧场景图像即为一组场景图像，场景图像序列包括与各个拍摄时刻分别对应的各组场景图像。以双目摄像机为例，双目摄像机包括左摄像头和右摄像头，在同一拍摄时刻下，分别由左摄像头和右摄像头拍摄得到的两帧场景图像即为一组场景图像。此外，也可以通过多于一个的独立摄像头拍摄得到场景图像序列，而无需固定封装的多目摄像机。
可以理解，场景图像序列与深度图像序列相对应，即场景图像序列中的各待处理场景图像均可以得到与之对应的待处理深度图像。
在本实施例中，由待处理场景图像得到与其对应的待处理深度图像，具体可以根据采集待处理场景图像所使用的图像采集器的标定结果对待处理场景图像进行校正得到校正图像，再对校正图像进行立体匹配得到视差图像，进而根据视差图像得到与待处理场景图像对应的待处理深度图像。比如，待处理场景图像包括双目摄像机的左摄像头拍摄的左场景图像Il和右摄像头拍摄的右场景图像Ir，对左场景图像Il和右场景图像Ir经过上述校正、立体匹配等一系列处理后，可以得到相应待处理深度图像。
其中，标定结果可以包括图像采集器(如摄像机)的内参数和外参数，内参可以包括焦距和焦点等，外参可以包括旋转矩阵和平移向量等，可以采用任何可能的标定方式得到图像采集器的标定结果。此外，校正可以采用任何可能的校正方式进行，比如立体校正和畸变校正等。立体匹配也可以采用任何可能的立体匹配方式进行，比如半全局块匹配算法(Semi-Global Block Matching，SGBM)。
在一个实施例中，根据视差图像，得到对应于待处理场景图像的待处理深度图像的步骤，可以包括如下步骤：根据视差图像对应的视差参数、图像采集器的焦距以及图像采集器的基线距离，将视差图像转换为对应于待处理场景图像的待处理深度图像。
在根据视差图像得到待处理深度图像的过程中，涉及到像素点的深度计算。在一个实施例中，可以采用下述公式确定像素点的深度：
Figure BDA0001797167250000111
其中，Z表示待计算像素点的深度；f表示图像采集器的焦距；B表示图像采集器的基线距离；xl-xr表示视差参数；以待处理场景图像由双目摄像机拍摄为例，基线距离为两个摄像头的中心距，xl为待计算像素点在左场景图像Il中的横坐标，xr为待计算像素点在右场景图像Ir中的横坐标。
在一个实施例中，位置描述信息包括包络框、深度及中心点。据此，根据历史目标对象的位置描述信息、以及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度的步骤，即步骤S206，可以包括如下步骤：根据待处理深度图像包含的待定目标对象的包络框和历史目标对象的包络框，确定面积变化比例；根据待处理深度图像包含的待定目标对象的深度和历史目标对象的深度，确定深度差值的绝对值；根据待处理深度图像包含的待定目标对象的中心点和历史目标对象的中心点，确定中心点欧拉距离；根据面积变化比例、深度差值的绝对值及中心点欧拉距离，确定待处理深度图像包含的待定目标对象与历史目标对象之间的相似度。
待定目标对象的包络框，是该待定目标对象在待处理深度图像中的边界框。相应地，历史目标对象的包络框，是该历史目标对象在其对应的深度图像中的边界框。其中，包络框具体可以是矩形框。可以理解，包络框在深度图像中占有相应的面积，在本实施例中，根据待定目标对象的包络框所占的面积和历史目标对象的包络框所占的面积，即可确定该待定目标对象和该历史目标对象之间的面积变化比例。
待定目标对象的深度，是图像采集器到该待定目标对象所对应的实际障碍物的距离。类似地，历史目标对象的深度，是图像采集器到该历史目标对象所对应的实际障碍物的距离。其中，目标对象(如待定目标对象和历史目标对象)的深度，可以根据构成该历史目标对象的各像素点的深度确定，比如可以将构成历史目标对象的各像素点的深度的均值作为该历史目标对象的深度。在本实施例中，计算待定目标对象的深度和历史目标对象的深度的差值，再对该差值取绝对值，即可得到该待定目标对象和该历史目标对象之间的深度差值的绝对值。
待定目标对象的中心点，可以是待定目标对象的几何中心点，也可以是待定目标对象的重心点等等，比如可以将待定目标对象的包络框的几何中心点作为待定目标对象的中心点。类似地，历史目标对象的中心点，可以是历史目标对象的几何中心点，也可以是历史目标对象的重心点等等，比如可以将历史目标对象的包络框的几何中心点作为历史目标对象的中心点。在本实施例中，得到待定目标对象的中心点和历史目标对象的中心点后，再计算两点之间的欧拉距离，即可得到该待定目标对象和该历史目标对象之间的中心点欧拉距离。
在一个实施例中，根据面积变化比例、深度差值的绝对值及中心点欧拉距离，确定待处理深度图像包含的待定目标对象与历史目标对象之间的相似度，具体可以是采用如下公式，计算待定目标对象与历史目标对象之间的相似度：
Figure BDA0001797167250000131
其中，δ表示待定目标对象与历史目标对象之间的相似度；b表示该待定目标对象和该历史目标对象之间的深度差值的绝对值；c表示该待定目标对象和该历史目标对象之间的面积变化比例；d表示该待定目标对象和该历史目标对象之间的中心点欧拉距离。
需要说明的是，由双目摄像机拍摄待处理场景图像时，由于双目摄像机能够准确地获取到目标对象的深度，将准确度较高的深度引入相似度的计算，能够有效地提高跟踪性能。
在一个实施例中，确定待处理深度图像包含的待定目标对象的包络框的方式，可以包括如下步骤：获取待处理深度图像包含的待定目标对象的原始包络框；当原始包络框对应的面积小于包络框面积阈值时，将原始包络框的尺寸扩大至参考尺寸，得到待处理深度图像包含的待定目标对象的包络框。
在本实施例中，对于待处理深度图像包含的待定目标对象，首先获取该待定目标对象的原始包络框；然后，判断该原始包络框的面积是否小于包络框面积阈值；若小于，则将原始包络框的尺寸扩大至参考尺寸，扩大所得即为该待定目标对象的包络框；若大于，则可直接将该原始包络框作为该待定目标对象的包络框，而无需进行额外处理。其中，包络框面积阈值可以根据实际需求预先设定。
在一个实施例中，将原始包络框的尺寸扩大至参考尺寸，具体可以是保持原始包络框的中心点不变，将长度和宽度各扩大三倍。
需要说明的是，原始包络框的面积小于包络框面积阈值，表明待定目标对象较小，在此情况下，将原始包络框进行扩大后，能够有效地避免较小的待定目标对象丢失的问题。
在一个实施例中，包络框面积阈值根据待处理深度图像的宽度、待处理深度图像的高度及影响系数确定；其中，影响系数根据待处理深度图像所涉及的图像采集器的分辨率、图像采集器的视场角及目标标准尺寸确定。
在一个实施例中，可以采用如下公式确定包络框面积阈值：
Figure BDA0001797167250000141
其中，AT表示包络框面积阈值；Width表示待处理深度图像的宽度；Height表示待处理深度图像的高度；N1表示预先设定的影响系数，影响系数是根据待处理深度图像所涉及的图像采集器的分辨率、图像采集器的视场角及目标标准尺寸，目标标准尺寸可以是预先设定的用于判定障碍物的尺寸标准，比如N1可以设为2000。
在一个实施例中，在待处理深度图像非深度图像序列中的首帧深度图像时，进入根据历史目标对象的位置描述信息、以及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度的步骤。并且，方法还可以包括如下步骤：在待处理深度图像为深度图像序列中的首帧深度图像时，将待处理深度图像包含的待定目标对象记录为历史目标对象，并进入获取深度图像序列中的下一帧待处理深度图像的步骤。
其中，首帧深度图像是深度图像序列中排列在第一位的深度图像。
在本实施例中，在执行根据历史目标对象的位置描述信息、以及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度的步骤之前，可以先判断待处理深度图像是否为深度图像序列中的首帧深度图像；若待处理深度图像是首帧深度图像，表明此时不存在历史目标对象，因而无需进行确定相似度的操作，则可以将该待处理深度图像(即深度图像序列中的首帧深度图像)包含的待定目标对象记录为历史目标对象，而后获取首帧深度图像的下一帧深度图像(即深度图像序列中的第二帧深度图像)作为待处理深度图像并进行目标标记等后续操作；然而，若待处理深度图像不是首帧深度图像，因为在此之前已经处理过深度图像序列中的其他深度图像，所以存在历史目标对象，在此情况下，可以确定待处理深度图像包含的待定目标对象与历史目标对象之间的相似度并进行后续处理。
在一个实施例中，根据相似度，更新历史目标对象的置信度和位置描述信息的步骤，即步骤S208，可以包括如下步骤：根据相似度，确定待定目标对象的相似目标对象；将待定目标对象的相似目标对象的置信度增加预定调整值，并根据相似目标对象相应的待定目标对象更新相似目标对象的位置描述信息；将与待处理深度图像包含的各待定目标对象之间的相似度均未超过相似度阈值的历史目标对象的置信度减少预定调整值。
待定目标对象的相似目标对象包括：与该待定目标对象之间的相似度超过相似度阈值、且包络框与该待定目标对象的包络框相交的历史目标对象。对于待处理深度图像中的各待定目标对象，不一定每一个待定目标对象均具有与之对应的相似目标对象，在实际应用中，待处理深度图像中的各待定目标对象均具有与之对应的相似目标对象的情况、待处理深度图像中的各待定目标对象中部分具有与之对应的相似目标对象，而另一部分不具有与之对应的相似目标对象的情况、待处理深度图像中的各待定目标对象均不具有与之对应的相似目标对象的情况，这三种情况均有可能出现。
分别确定出与各待定目标对象之间的相似度超过相似度阈值的各历史目标对象后，将该各历史目标对象的置信度增加预定调整值；将与所述待处理深度图像包含的各待定目标对象之间的相似度均未超过相似度阈值的所述历史目标对象(即不是相似目标对象的其他历史目标对象)的置信度减少预定调整值。其中，预定调整值根据实际需求预先设定，比如预定调整值设为1。
比如，对于前文描述的示例E-1，假设计算得到的12个相似度中，待定目标对象D9与历史目标对象H6之间的相似度超过相似度阈值、待定目标对象D10与历史目标对象H7之间的相似度超过相似度阈值、待定目标对象D11与历史目标对象H8之间的相似度超过相似度阈值。则，历史目标对象H6是待定目标对象D9的相似目标对象、历史目标对象H7是待定目标对象D10的相似目标对象、以及历史目标对象H8是待定目标对象D11的相似目标对象。在此情况下，将历史目标对象H6的置信度、历史目标对象H7的置信度、以及历史目标对象H8的置信度分别增加1(下文将该示例简称为示例E-2)。此外，对于示例E-1，历史目标对象H6至H8中，不存在与待定目标对象D9至D12之间的相似度均未超过相似度阈值的历史目标对象，因而无需将任何历史目标对象的置信度减少1。但需要说明的是，在实际应用中，若存在与待处理深度图像包含的各待定目标对象之间的相似度均未超过相似度阈值的历史目标对象，则将该历史目标对象的置信度减少1。
此外，对于从各历史目标对象中、确定出的各待定目标对象的相似目标对象，还可以根据该相似目标对象所对应的待定目标对象的位置描述信息，更新该相似目标对象的位置描述信息。具体地，可以用该相似目标对象所对应的待定目标对象的位置描述信息，替换该相似目标对象的位置描述信息。对于将各历史目标对象存储为目标集合的情况，对于作为待定目标对象的相似目标对象的历史目标对象，用该待定目标对象的位置描述信息，替换掉目标集合中原本记录的该历史目标对象的位置描述信息。比如，对于前文描述的示例E-2，目标集合记录历史目标对象H6的位置描述信息，该历史目标对象H6是待处理深度图像包含的待定目标对象D9的相似目标对象，则用待定目标对象D9的位置描述信息，替换掉目标集合中原本记录的历史目标对象H6的位置描述信息，亦即是说，完成替换后，目标集合中记录待定目标对象D9的位置描述信息，而不再记录历史目标对象H6的位置描述信息。
在一个实施例中，在将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息之前，还可以包括如下步骤：将待处理深度图像包含的各待定目标对象中、与各历史目标对象之间的相似度均不超过相似度阈值的待定目标对象，记录为历史目标对象，并为该历史目标对象配置初始置信度。
初始置信度，是历史目标对象的置信度的初始值。比如，初始置信度可以设置为1。
以前文描述的示例E-2为例，待处理深度图像包含的待定目标对象D9至D12中，待定目标对象D9与历史目标对象H6之间的相似度超过相似度阈值、待定目标对象D10与历史目标对象H7之间的相似度超过相似度阈值、待定目标对象D11与历史目标对象H8之间的相似度超过相似度阈值，但待定目标对象D12与各历史目标对象之间的相似度均未超过相似度阈值。则，将待定目标对象D12记录为历史目标对象，并为该新纪录的历史目标对象配置初始置信度1(将该新纪录的历史目标对象命名为历史目标对象H9)。后续，获取到下一帧待处理深度图像时，则共计存在4个历史目标对象，分别为历史目标对象H6、历史目标对象H7、历史目标对象H8、以及历史目标对象H9。
在一个实施例中，在将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息的步骤之前，还可以包括如下步骤：将置信度低于第一置信度阈值的历史目标对象，记录为非历史目标对象。
在本实施例中，当历史目标对象的置信度低于第一置信度阈值时，则将该历史目标对象从历史目标对象中淘汰掉。以对于将各历史目标对象存储为目标集合的情况为例，可以将置信度低于第一置信度阈值的历史目标对象从目标集合中移除。
在一个实施例中，对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息的步骤，即步骤S204，可以包括如下步骤：将待处理深度图像包含的各像素点中、纵坐标小于第一坐标阈值的像素点标记为目标像素点；其中，各像素点的邻域中、与该像素点的竖坐标的差值小于第二坐标阈值的像素点被标记的目标像素点相同，纵坐标和竖坐标是世界坐标系中的坐标；根据各目标像素点，确定待处理深度图像包含的待定目标对象；其中，相同的各目标像素点对应同一待定目标对象；获取各待定目标对象的位置描述信息。
在一个实施例中，先根据待处理深度图像，完成相机坐标系到世界坐标系的转换，即确定待处理深度图像中的各像素点在世界坐标系中的坐标。假设像素点在相机坐标系中的坐标为(x，y，z)，转换到世界坐标系中，该像素点的坐标为(x’，y’，z’)，则满足以下关系：x’＝x，y’＝cos(α)*y-sin(α)*z，z’＝-cos(α)*z-sin(α)*y，其中，α表示相机俯仰角。
遍历待处理深度图像中的各像素点，对于每一个遍历到的像素点，判断该像素点在世界坐标系中的纵坐标y’是否小于第一坐标阈值，若小于，则将该像素点标记为目标像素点，并搜索该像素点的邻域(比如八邻域)，若搜索到与该像素点在世界坐标系中的竖坐标的差值小于第二坐标阈值、且在世界坐标系中的纵坐标小于第一坐标阈值的相邻像素点，则将搜索到的相邻像素点标记为与该像素点相同的目标像素点，即认为该相邻像素点与该像素点对应于同一待定目标对象。
进而，根据被标记出的各目标像素点确定待处理深度图像包含的待定目标对象，相同的各目标像素点对应同一待定目标对象。并且，获取确定出的各待定目标对象的位置描述信息。
在一个实施例中，也可以遍历待处理深度图像中的各像素点，对于每一个遍历到的像素点，判断该像素点在世界坐标系中的纵坐标y’是否小于第一坐标阈值，若小于，则将该像素点标记为目标像素点。而后，对于各目标像素点，将该目标像素点、以及位于该目标像素点的邻域中、且与该目标像素点在世界坐标系中的竖坐标的差值小于第二坐标阈值的目标像素点，标记为对应同一待定目标对象。
在一个实施例中，第一坐标阈值为图像采集器的高度与立体匹配误差的差值。其中，立体匹配误差通常在(0.1,0.4)这一数值区间取值。可以理解，第一坐标阈值的确定方式不局限于此。第二坐标阈值可以根据实际需求预先设定，比如第二坐标阈值为0.5。
在一个实施例中，提供了一种目标跟踪方法。该方法可以包括如下步骤(1)至(17)。
(1)、获取待处理场景图像，待处理场景图像包括分别从不同的成像角度采集同一场景得到的至少两帧图像。
(2)、根据采集至少两帧图像所使用的图像采集器的标定结果对至少两帧图像进行校正，得到校正图像。
(3)、对校正图像进行立体匹配，得到视差图像。
(4)、根据视差图像对应的视差参数、图像采集器的焦距以及图像采集器的基线距离，将视差图像转换为对应于待处理场景图像的待处理深度图像。
(5)、将待处理深度图像包含的各像素点中、纵坐标小于第一坐标阈值的像素点标记为目标像素点；其中，各像素点的邻域中、与该像素点的竖坐标的差值小于第二坐标阈值的像素点被标记的目标像素点相同，纵坐标和竖坐标是世界坐标系中的坐标，第一坐标阈值为图像采集器的高度与立体匹配误差的差值。
(6)、根据各目标像素点，确定待处理深度图像包含的待定目标对象，其中，相同的各目标像素点对应同一待定目标对象。
(7)、获取各待定目标对象的位置描述信息。
在待处理深度图像为深度图像序列中的首帧深度图像时，将待处理深度图像包含的待定目标对象记录为历史目标对象，并获取下一帧待处理深度图像。
(8)、在待处理深度图像非深度图像序列中的首帧深度图像时，根据待处理深度图像包含的待定目标对象的包络框和历史目标对象的包络框，确定面积变化比例；历史目标对象从已处理深度图像包含的待定目标对象中选取，已处理深度图像包括待处理深度图像所在的深度图像序列中、位于待处理深度图像之前的深度图像。
(9)、根据待处理深度图像包含的待定目标对象的深度和历史目标对象的深度，确定深度差值的绝对值。
(10)、根据待处理深度图像包含的待定目标对象的中心点和历史目标对象的中心点，确定中心点欧拉距离。
(11)、根据面积变化比例、深度差值的绝对值及中心点欧拉距离，确定待处理深度图像包含的待定目标对象与历史目标对象之间的相似度。
(12)、根据相似度，确定待定目标对象的相似目标对象；待定目标对象的相似目标对象包括：与该待定目标对象之间的相似度超过相似度阈值的历史目标对象。
(13)、将待定目标对象的相似目标对象的置信度增加预定调整值，并根据相似目标对象所对应的待定目标对象的位置描述信息，更新相似目标对象的位置描述信息。
(14)、将与待处理深度图像包含的各待定目标对象之间的相似度均未超过相似度阈值的历史目标对象的置信度减少预定调整值。
(15)、将待处理深度图像包含的各待定目标对象中、与各历史目标对象之间的相似度均不超过相似度阈值的待定目标对象，记录为历史目标对象，并为该历史目标对象配置初始置信度。
(16)、将置信度低于第一置信度阈值的历史目标对象，记录为非历史目标对象。
(17)、将置信度高于第二置信度阈值的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息，第二置信度阈值根据待处理深度图像所涉及的图像采集器的图像采集帧率确定。
需要说明的是，本实施例中对各技术特征的具体限定，可以与前文中对相应技术特征的限定相同，此处不加赘述。
需要说明的是，本申请各实施例提供的目标跟踪方法可以应用于智能驾驶。比如，在无人驾驶车辆上设置双目摄像机，在车辆行驶过程中，双目摄像机拍摄道路场景，向车载控制器发送场景图像序列，进而车载控制器采用本申请任一实施例提供的目标跟踪方法确定跟踪目标对象。在传统方式中，通常只会针对行人、车辆等常见障碍物进行特征提取并训练模型，当道路上出现未知障碍物(如落石、路障等)时，传统方式则无法准确地进行目标跟踪，这给车辆的安全行驶带来了重大威胁，然而采用本申请各实施例提供的目标跟踪方法能够对未知障碍物进行准确识别，有效地提高了行车的安全性。
在合理条件下应当理解，虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种目标跟踪装置400。该装置可以包括如下模块402至410。
深度图像获取模块402，用于获取深度图像序列中的待处理深度图像。
位置信息获取模块404，用于对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息。
相似度计算模块406，用于根据历史目标对象的位置描述信息、以及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度；历史目标对象从已处理深度图像包含的待定目标对象中选取，已处理深度图像包括待处理深度图像所在的深度图像序列中、位于待处理深度图像之前的深度图像。
信息更新模块408，用于根据相似度，更新历史目标对象的置信度和位置描述信息。
跟踪对象确定模块410，用于将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。
上述目标跟踪装置400，对待处理深度图像进行目标标记，获取待处理深度图像包含的待定目标对象的位置描述信息，并确定从深度图像序列中位于待处理深度图像之前的深度图像包含的待定目标对象中选出的历史目标对象、与待处理深度图像包含的待定目标对象之间的相似度，再根据相似度更新历史目标对象的置信度和位置描述信息，进而将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。如此，仅依靠深度图像本身包含的深度信息即可标记出待处理深度图像包含的待定目标对象，而无需人为设计图像特征，将图像特征输入至预先训练的机器学习模型中进行目标对象的检测，有效地降低了工作难度和工作量，且可以标记出类别未知的待定目标对象。
在一个实施例中，深度图像获取模块402可以包括如下单元：场景图像获取单元，用于获取场景图像序列中的待处理场景图像，待处理场景图像包括分别从不同的成像角度采集同一场景得到的至少两帧图像；校正单元，用于根据采集至少两帧图像所使用的图像采集器的标定结果对至少两帧图像进行校正，得到校正图像；立体匹配单元，用于对校正图像进行立体匹配，得到视差图像；深度图像获取单元，用于根据视差图像，得到与待处理场景图像对应的待处理深度图像。
在一个实施例中，深度图像获取单元具体可用于根据视差图像对应的视差参数、图像采集器的焦距以及图像采集器的基线距离，将视差图像转换为对应于待处理场景图像的待处理深度图像。
在一个实施例中，位置描述信息包括包络框、深度及中心点。据此，相似度计算模块406可以包括如下单元：面积比例确定单元，用于根据待处理深度图像包含的待定目标对象的包络框和历史目标对象的包络框，确定面积变化比例；深度差值确定单元，用于根据待处理深度图像包含的待定目标对象的深度和历史目标对象的深度，确定深度差值的绝对值；欧拉距离确定单元，用于根据待处理深度图像包含的待定目标对象的中心点和历史目标对象的中心点，确定中心点欧拉距离；相似度确定单元，用于根据面积变化比例、深度差值的绝对值及中心点欧拉距离，确定待处理深度图像包含的待定目标对象与历史目标对象之间的相似度。
在一个实施例中，目标跟踪装置400还包括包络框确定模块，用于获取待处理深度图像包含的待定目标对象的原始包络框；当原始包络框对应的面积小于包络框面积阈值时，将原始包络框的尺寸扩大至参考尺寸，得到待处理深度图像包含的待定目标对象的包络框。
在一个实施例中，包络框面积阈值根据待处理深度图像的宽度、待处理深度图像的高度及影响系数确定；其中，影响系数根据待处理深度图像所涉及的图像采集器的分辨率、图像采集器的视场角及目标标准尺寸确定。
在一个实施例中，目标跟踪装置400还可以包括首帧判断模块，用于判断待处理深度图像是否为深度图像序列中的首帧深度图像；在待处理深度图像非深度图像序列中的首帧深度图像时，进入根据历史目标对象的位置描述信息、以及待处理深度图像包含的待定目标对象的位置描述信息，确定历史目标对象与待处理深度图像包含的待定目标对象之间的相似度的步骤；在待处理深度图像为深度图像序列中的首帧深度图像时，将待处理深度图像包含的待定目标对象记录为历史目标对象，并进入获取深度图像序列中的下一帧待处理深度图像的步骤。
在一个实施例中，信息更新模块408可以包括如下单元：相似对象确定单元，用于根据相似度，确定待定目标对象的相似目标对象；待定目标对象的相似目标对象包括：与该待定目标对象之间的相似度超过相似度阈值的历史目标对象；第一信息更新单元，用于将待定目标对象的相似目标对象的置信度增加预定调整值，并根据相似目标对象所对应的待定目标对象的位置描述信息，更新相似目标对象的位置描述信息；第二信息更新单元，用于将与待处理深度图像包含的各待定目标对象之间的相似度均未超过相似度阈值的历史目标对象的置信度减少预定调整值。
在一个实施例中，目标跟踪装置400还可以包括：历史对象新增模块，用于将待处理深度图像包含的各待定目标对象中、与各历史目标对象之间的相似度均不超过相似度阈值的待定目标对象，记录为历史目标对象，并为该历史目标对象配置初始置信度。
在一个实施例中，目标跟踪装置400还可以包括：历史对象淘汰模块，用于将置信度低于第一置信度阈值的历史目标对象，记录为非历史目标对象。
在一个实施例中，筛选条件包括置信度高于第二置信度阈值；其中，第二置信度阈值根据待处理深度图像所涉及的图像采集器的图像采集帧率确定。
在一个实施例中，位置信息获取模块404可以包括如下单元：目标像素点标记单元，用于将待处理深度图像包含的各像素点中、纵坐标小于第一坐标阈值的像素点标记为目标像素点；其中，各像素点的邻域中、与该像素点的竖坐标的差值小于第二坐标阈值的像素点被标记的目标像素点相同，纵坐标和竖坐标是世界坐标系中的坐标；待定对象确定单元，用于根据各目标像素点，确定待处理深度图像包含的待定目标对象；其中，相同的各目标像素点对应同一待定目标对象；位置信息获取单元，用于获取各待定目标对象的位置描述信息。
在一个实施例中，第一坐标阈值为图像采集器的高度与立体匹配误差的差值。
需要说明的是，关于目标跟踪装置的具体限定，可以参见上文中对于目标跟踪方法的限定，在此不再赘述。上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图5所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现目标跟踪方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行目标跟踪方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的目标跟踪装置可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。计算机设备的存储器中可存储组成该目标跟踪装置的各个程序模块，比如，图4所示的深度图像获取模块402、位置信息获取模块404、相似度计算模块406、信息更新模块408、以及跟踪对象确定模块410。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的目标跟踪方法中的步骤。
例如，图5所示的计算机设备可以通过如图4所示的目标跟踪装置400中的深度图像获取模块402执行步骤S202，可通过位置信息获取模块404执行步骤S204，可通过相似度计算模块406执行步骤S206、可通过信息更新模块408执行步骤S208、可通过跟踪对象确定模块410执行步骤S210。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述目标跟踪方法的步骤。此处目标跟踪方法的步骤可以是上述各个实施例的目标跟踪方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述目标跟踪方法的步骤。此处目标跟踪方法的步骤可以是上述各个实施例的目标跟踪方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种目标跟踪方法，包括：
获取待处理深度图像；
对所述待处理深度图像进行目标标记，获取所述待处理深度图像包含的待定目标对象的位置描述信息；其中，所述位置描述信息包括包络框、深度及中心点；
根据所述待处理深度图像包含的待定目标对象的包络框和历史目标对象的包络框，确定面积变化比例；
根据所述待处理深度图像包含的待定目标对象的深度和所述历史目标对象的深度，确定深度差值的绝对值；
根据所述待处理深度图像包含的待定目标对象的中心点和所述历史目标对象的中心点，确定中心点欧拉距离；
根据所述面积变化比例、所述深度差值的绝对值及所述中心点欧拉距离，确定所述待处理深度图像包含的待定目标对象与所述历史目标对象之间的相似度；其中，所述历史目标对象从已处理深度图像包含的待定目标对象中选取，所述已处理深度图像包括所述待处理深度图像所在的深度图像序列中、位于所述待处理深度图像之前的深度图像；
根据所述相似度，更新所述历史目标对象的置信度和位置描述信息；
将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理深度图像，包括：
获取待处理场景图像，所述待处理场景图像包括分别从不同的成像角度采集同一场景得到的至少两帧图像；
根据采集所述至少两帧图像所使用的图像采集器的标定结果对所述至少两帧图像进行校正，得到校正图像；
对所述校正图像进行立体匹配，得到视差图像；
根据所述视差图像，得到与所述待处理场景图像对应的待处理深度图像。
3.根据权利要求1所述的方法，其特征在于，确定所述待处理深度图像包含的待定目标对象的包络框的方式，包括：
获取所述待处理深度图像包含的待定目标对象的原始包络框；
当所述原始包络框对应的面积小于包络框面积阈值时，将所述原始包络框的尺寸扩大至参考尺寸，得到所述待处理深度图像包含的待定目标对象的包络框。
4.根据权利要求3所述的方法，其特征在于：所述包络框面积阈值根据所述待处理深度图像的宽度、所述待处理深度图像的高度及影响系数确定；
其中，所述影响系数根据所述待处理深度图像所涉及的图像采集器的分辨率、所述图像采集器的视场角及目标标准尺寸确定。
5.根据权利要求1所述的方法，其特征在于：
在所述待处理深度图像非所述深度图像序列中的首帧深度图像时，进入所述根据所述面积变化比例、所述深度差值的绝对值及所述中心点欧拉距离，确定所述待处理深度图像包含的待定目标对象与所述历史目标对象之间的相似度的步骤；
所述方法还包括：
在所述待处理深度图像为所述深度图像序列中的首帧深度图像时，将所述待处理深度图像包含的待定目标对象记录为历史目标对象，并进入获取下一帧待处理深度图像的步骤。
6.根据权利要求1所述的方法，其特征在于，所述根据所述相似度，更新所述历史目标对象的置信度和位置描述信息，包括：
根据所述相似度，确定所述待定目标对象的相似目标对象；所述待定目标对象的相似目标对象包括：与该待定目标对象之间的相似度超过相似度阈值、且包络框与该待定目标对象的包络框相交的所述历史目标对象；
将所述待定目标对象的相似目标对象的置信度增加预定调整值，并根据所述相似目标对象所对应的待定目标对象的位置描述信息，更新所述相似目标对象的位置描述信息；
将与所述待处理深度图像包含的各待定目标对象之间的相似度均未超过相似度阈值的所述历史目标对象的置信度减少预定调整值。
7.根据权利要求1所述的方法，其特征在于，在所述将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息之前，还包括：
将所述待处理深度图像包含的各待定目标对象中、与各所述历史目标对象之间的相似度均不超过相似度阈值的所述待定目标对象，记录为所述历史目标对象，并为该历史目标对象配置初始置信度。
8.根据权利要求1所述的方法，其特征在于，在所述将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息之前，还包括：
将置信度低于第一置信度阈值的所述历史目标对象，记录为非历史目标对象。
9.根据权利要求1所述的方法，其特征在于，所述筛选条件包括置信度高于第二置信度阈值；
其中，所述第二置信度阈值根据所述待处理深度图像所涉及的图像采集器的图像采集帧率确定。
10.根据权利要求2、4和9任一项所述的方法，其特征在于，所述对所述待处理深度图像进行目标标记，获取所述待处理深度图像包含的待定目标对象的位置描述信息，包括：
将所述待处理深度图像包含的各像素点中、纵坐标小于第一坐标阈值的所述像素点标记为目标像素点；其中，各像素点的邻域中、与该像素点的竖坐标的差值小于第二坐标阈值的像素点被标记的目标像素点相同，所述纵坐标和所述竖坐标是世界坐标系中的坐标；
根据各所述目标像素点，确定所述待处理深度图像包含的待定目标对象；其中，相同的各所述目标像素点对应同一待定目标对象；
获取各所述待定目标对象的位置描述信息。
11.根据权利要求10所述的方法，其特征在于，所述第一坐标阈值为所述图像采集器的高度与立体匹配误差的差值。
12.一种目标跟踪装置，包括：
深度图像获取模块，用于获取待处理深度图像；
位置信息获取模块，用于对所述待处理深度图像进行目标标记，获取所述待处理深度图像包含的待定目标对象的位置描述信息；其中，所述位置描述信息包括包络框、深度及中心点；
相似度计算模块，包括：
面积比例确定单元，用于根据所述待处理深度图像包含的待定目标对象的包络框和历史目标对象的包络框，确定面积变化比例；深度差值确定单元，用于根据所述待处理深度图像包含的待定目标对象的深度和所述历史目标对象的深度，确定深度差值的绝对值；欧拉距离确定单元，用于根据所述待处理深度图像包含的待定目标对象的中心点和所述历史目标对象的中心点，确定中心点欧拉距离；相似度确定单元，用于根据所述面积变化比例、所述深度差值的绝对值及所述中心点欧拉距离，确定所述待处理深度图像包含的待定目标对象与所述历史目标对象之间的相似度；其中，所述历史目标对象从已处理深度图像包含的待定目标对象中选取，所述已处理深度图像包括所述待处理深度图像所在的深度图像序列中、位于所述待处理深度图像之前的深度图像；
信息更新模块，用于根据所述相似度，更新所述历史目标对象的置信度和位置描述信息；
跟踪对象确定模块，用于将置信度符合筛选条件的历史目标对象的位置描述信息，确定为跟踪目标对象的位置描述信息。
13.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
CN201811061261.9A 2018-09-12 2018-09-12 目标跟踪方法、装置、计算机可读存储介质和计算机设备 Active CN110895819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811061261.9A CN110895819B (zh) 2018-09-12 2018-09-12 目标跟踪方法、装置、计算机可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811061261.9A CN110895819B (zh) 2018-09-12 2018-09-12 目标跟踪方法、装置、计算机可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN110895819A CN110895819A (zh) 2020-03-20
CN110895819B true CN110895819B (zh) 2022-11-29

Family

ID=69785547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811061261.9A Active CN110895819B (zh) 2018-09-12 2018-09-12 目标跟踪方法、装置、计算机可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN110895819B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807124B (zh) * 2020-06-11 2023-12-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112001944A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 课堂教学质量评价数据的获取方法、计算机设备和介质
CN112069672B (zh) * 2020-08-31 2024-12-06 山东省国土空间生态修复中心 一种滚石轨迹实时修正计算方法
CN112150505B (zh) * 2020-09-11 2024-09-06 浙江大华技术股份有限公司 目标对象跟踪器的更新方法和装置、存储介质及电子装置
CN114764878A (zh) * 2020-12-30 2022-07-19 氪见(南京)科技有限公司 信息处理方法、装置、处理设备及移动机器人
CN112967283B (zh) * 2021-04-22 2023-08-18 上海西井科技股份有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN113205876B (zh) * 2021-07-06 2021-11-19 明品云(北京)数据科技有限公司 目标人员的有效线索确定方法、系统、电子设备及介质
CN113971687A (zh) * 2021-10-29 2022-01-25 上海商汤临港智能科技有限公司 对象跟踪方法、装置电子设备及存储介质
CN114310940B (zh) * 2021-12-20 2024-02-06 三一建筑机器人(西安)研究院有限公司 工件定位方法、装置、介质及作业机械
CN114429187A (zh) * 2022-01-26 2022-05-03 商汤集团有限公司 图像检测方法、装置、设备及存储介质
CN116309729B (zh) * 2023-02-20 2024-08-20 珠海视熙科技有限公司 目标追踪方法、装置、终端、系统及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424634A (zh) * 2013-08-23 2015-03-18 株式会社理光 对象跟踪方法和装置
CN104599287A (zh) * 2013-11-01 2015-05-06 株式会社理光 对象跟踪方法和装置、对象识别方法和装置
CN108446585A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN108446622A (zh) * 2018-03-14 2018-08-24 海信集团有限公司 目标物体的检测跟踪方法及装置、终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6509027B2 (ja) * 2015-05-12 2019-05-08 キヤノン株式会社 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424634A (zh) * 2013-08-23 2015-03-18 株式会社理光 对象跟踪方法和装置
CN104599287A (zh) * 2013-11-01 2015-05-06 株式会社理光 对象跟踪方法和装置、对象识别方法和装置
CN108446585A (zh) * 2018-01-31 2018-08-24 深圳市阿西莫夫科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN108446622A (zh) * 2018-03-14 2018-08-24 海信集团有限公司 目标物体的检测跟踪方法及装置、终端

Also Published As

Publication number Publication date
CN110895819A (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN110895819B (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN104299244B (zh) 基于单目相机的障碍物检测方法及装置
Uittenbogaard et al. Privacy protection in street-view panoramas using depth and multi-view imagery
EP3876141A1 (en) Object detection method, related device and computer storage medium
CN105046235B (zh) 车道线的识别建模方法和装置、识别方法和装置
DE112018000605T5 (de) Informationsverarbeitungsvorrichtung, Datenverwaltungsvorrichtung, Datenverwaltungssystem, Verfahren und Programm
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
CN112950725B (zh) 一种监控相机参数标定方法及装置
CN110415277A (zh) 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
CN114332415B (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
CN115049700A (zh) 一种目标检测方法及装置
US9747507B2 (en) Ground plane detection
CN111046856A (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN111256687A (zh) 地图数据的处理方法、装置、采集设备和存储介质
CN112037249A (zh) 一种对摄像装置影像中物体进行跟踪的方法及装置
CN106803262A (zh) 利用双目视觉自主解算汽车速度的方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
US20240077331A1 (en) Method of predicting road attributers, data processing system and computer executable code
CN109543634B (zh) 定位过程中的数据处理方法、装置、电子设备和存储介质
CN114663598A (zh) 三维建模方法、装置和存储介质
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN117994748A (zh) 路侧鸟瞰图目标检测方法、装置与计算设备、存储介质
CN117036238A (zh) 基于视频目标跟踪的田间水果计数方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant