CN118261952A - 目标跟随方法、装置以及机器人 - Google Patents

Abstract

本申请实施例公开了一种目标跟随方法、装置以及机器人。所述方法包括：获取当前采集的待检测图像以及与待检测图像对应的深度图像；对待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征；将外观特征和历史外观特征进行匹配，得到目标对象的身份信息；根据身份信息、位置信息以及深度图像，得到目标对象的深度信息，以基于深度信息、位置信息和身份信息对目标对象进行跟随。通过上述方式使得，可以对待检测图像进行目标检测，得到目标对象的位置信息以及外观特征，将获取到的外观特征与具有身份信息的历史外观特征进行匹配，得到目标对象的身份信息，从而提高了跨视野跟随下对目标对象的身份信息认定的准确度和跟随精度。

Description

目标跟随方法、装置以及机器人

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种目标跟随方法、装置以及机器人。

背景技术

随着科技的发展，机器人的跟随功能在很多场景下被广泛使用，如家庭陪伴机器人、超市的跟随购物车、菜市场的跟随菜篮、跟随行李箱等。

在相关方式中，机器人可以基于对目标对象的感知(如位置感知、距离感知等)确定跟随方案，机器人的感知可以按“被跟随对象感知”的方式分为主动式感知和被动式感知，其中，主动式感知可以包括基于GPS(Global Positioning System，全球定位系统)定位技术、蓝牙定位技术、RFID(Radio-frequency Identification，射频识别)定位技术、Wi-Fi(Wireless-Fidelity，无线保真)定位技术、超声波定位技术、UWB(Ultra-wideband，超宽带)无线电定位技术等的感知，被动式感知可以包括基于RGB(Red Green Blue，红绿蓝)视觉定位技术、红外线定位技术等的感知。但相关方式中还存在跟随精度低的问题。

发明内容

鉴于上述问题，本申请提出了一种目标跟随方法、装置以及机器人，以实现改善上述问题。

第一方面，本申请提供了一种目标跟随方法，所述方法包括：获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征；

将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，所述历史外观特征为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的外观特征；根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

第二方面，本申请提供了一种目标跟随方法，所述方法包括：获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，其中，所述高分检测框中的内容为目标对象的概率，高于所述低分检测框中的内容为目标对象的概率，每个所述检测框对应有位置信息，所述位置信息表征所述检测框中所述目标对象的位置；将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到所述高分框对应的目标对象的身份信息，所述预测位置信息基于历史跟随轨迹得到，所述历史跟随轨迹为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的跟随轨迹；将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分框对应的目标对象的身份信息；

根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

第三方面，本申请提供了一种目标跟随装置，所述装置包括：图像获取单元，用于获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；目标对象信息获取单元，用于对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征；身份信息获取单元，用于将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，所述历史外观特征为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的外观特征；深度信息获取单元，用于根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

第四方面，本申请提供了一种目标跟随装置，所述装置包括：图像获取单元，用于获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；检测框分类单元，用于若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，其中，所述高分检测框中的内容为目标对象的概率，高于所述低分检测框中的内容为目标对象的概率，每个所述检测框对应有位置信息，所述位置信息表征所述检测框中所述目标对象的位置；身份信息获取单元，用于若所述检测框有多个，将所述多个检测框各自对应的置信分数与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框；将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到所述高分框对应的目标对象的身份信息，所述预测位置信息基于历史跟随轨迹得到，所述历史跟随轨迹为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的跟随轨迹；将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分框对应的目标对象的身份信息；深度信息获取单元，用于根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

第五方面，本申请提供了一种机器人，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第六方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请提供的一种目标跟随方法、装置、机器人以及存储介质，在获取当前采集的待检测图像以及与所述待检测图像对应的深度图像后，对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征，将所述外观特征和根据历史采集的待检测图像以及深度图像获取到的具有身份信息的历史外观特征进行匹配，得到所述目标对象的身份信息，根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。通过上述方式使得，可以对待检测图像进行目标检测，得到目标对象的位置信息以及外观特征，将获取到的外观特征与具有身份信息的历史外观特征进行匹配，得到目标对象的身份信息，从而提高了跨视野跟随下对目标对象的身份信息认定的准确度，例如，在目标对象从跟随视野消失又重新出现时(如拐弯处等)，可以基于重新出现在跟随视野里的目标对象的外观特征和历史外观特征进行匹配，确定目标对象的身份信息。并且，基于目标对象深度信息、位置信息和更加准确的身份信息对目标对象进行跟随，可以提高跟随精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提出的一种应用场景的示意图；

图2示出了本申请实施例提出的一种目标跟随方法的流程图；

图3示出了本申请实施例提出的一种检测框位置信息的示意图；

图4示出了本申请实施例提出的一种将深度图像映射的示意图；

图5示出了本申请另一实施例提出的一种目标跟随方法的流程图；

图6示出了本申请实施例提出的高分检测框和低分检测框分别进行匹配的示意图；

图7示出了本申请又一实施例提出的一种目标跟随方法的流程图；

图8示出了本申请再一实施例提出的一种目标跟随方法的流程图；

图9示出了本申请再一实施例提出的一种目标跟随方法的流程图；

图10示出了本申请实施例提出的一种目标跟随装置的结构框图；

图11示出了本申请实施例提出的另一种目标跟随装置的结构框图；

图12示出了本申请提出的一种机器人的结构框图；

图13是本申请实施例的用于保存或者携带实现根据本申请实施例的目标跟随方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着人工智能技术的发展，跟随机器人开始出现在人类生活中。例如，在图1所示的智能家居场景下，跟随机器人可以通过主动式感知或者被动式感知的方式确定目标跟随对象的位置、距离等，对目标跟随对象(房间内的女孩)进行跟随，从而减少目标跟随对象的孤独感，提高目标跟随对象的生活幸福指数。

但是，发明人在对相关研究中发现，跟随机器人的跟随精度还有待提高。例如，基于主动感知方式的跟随方案需要目标对象额外佩戴设备，且跟随机器人无法避障、智能化水平低、没有目标语义识别能力、跟随精度低(跟随精度只能确定到10cm以内)。再例如，基于被动感知方式的跟随方案中，单目RGB摄像头深度估计误差大、易受环境光干扰且在遮挡条件下跟随精度差。

因此，发明人提出了本申请中的一种目标跟随方法、装置以及机器人，在获取当前采集的待检测图像以及与所述待检测图像对应的深度图像后，对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征，将所述外观特征和根据历史采集的待检测图像以及深度图像获取到的具有身份信息的历史外观特征进行匹配，得到所述目标对象的身份信息，根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。通过上述方式使得，可以对待检测图像进行目标检测，得到目标对象的位置信息以及外观特征，将获取到的外观特征与具有身份信息的历史外观特征进行匹配，得到目标对象的身份信息，从而提高了跨视野跟随下对目标对象的身份信息认定的准确度，例如，在目标对象从跟随视野消失又重新出现时(如拐弯处等)，可以基于重新出现在跟随视野里的目标对象的外观特征和历史外观特征进行匹配，确定目标对象的身份信息。并且，基于目标对象深度信息、位置信息和更加准确的身份信息对目标对象进行跟随，可以提高跟随精度。

下面将结合附图来对本申请中的实施例进行说明。

请参阅图2，本申请提供的一种目标跟随方法，所述方法包括：

S110：获取当前采集的待检测图像以及与所述待检测图像对应的深度图像。

其中，待检测图像可以指彩色图像、伪彩色图像、灰度图像，其中彩色图像可以为RGB图像。深度图像可以指反映待检测图像中图像内容的深度信息的图像，深度信息可以指在图像采集场景下图像内容与图像采集设备之间的距离。

作为一种方式，跟随机器人可以搭载有结构光深度摄像头，并通过结构光深度摄像头采集目标区域下的待检测图像和深度图像，以获取到当前采集的待检测图像以及与待检测图像对应的深度图像。

其中，目标区域可以指结构光深度摄像头的视场角所能够覆盖的场景区域，例如，智能家居场景下的室内区域、客厅区域、卧室区域，超市购物场景下的购物区域、结账区域等。在结构光深度摄像头中可以包含一个单目摄像头和一个红外(Infrared Radiation，IR)摄像头，单目摄像头可以用于采集目标区域下的待检测图像，红外摄像头可以用于采集深度图像。由于红外摄像头具备不易受环境光线干扰的特性，因此在周围环境光线昏暗时，红外摄像头也可以输出精度较高的深度图像，从而可以获取到准确的深度信息，进而可以提高跟随精度，甚至可以使跟随精度达到毫米级。

由于结构光深度摄像头中的单目摄像头和深度摄像头处于不同位置且视场角不同，可能导致采集的待检测图像和待检测图像对应的深度图像无法完全重合，从而使得后续将二者的信息进行融合时，无法得到准确的融合信息，进而降低跟随精度。因此，作为另一种方式，可以在通过结构光深度摄像头获取当前采集的原始待检测图像以及与原始待检测图像对应的深度图像后，将原始待检测图像和原始待检测图像对应的深度图像进行像素对齐，将对齐后的待检测图像和对齐后的深度图像作为待检测图像和所述深度图像。

可选的，可以通过逐像素对齐(D2C)的方式将原始待检测图像和原始待检测图像对应的深度图像进行像素对齐。D2C可以包括硬件对齐和软件对齐两种方式，其中，硬件对齐方式可以由相关芯片完成，不消耗主机资源，效率较高，但对深度图的分辨率有要求，最大可支持640x480的分辨率，其中主机可以指智能移动终端的CPU(Central ProcessingUnit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等。软件对齐方式的精度较高，但会消耗大量主机算力，不适合计算能力较弱或主机资源紧张的平台。因此，可以基于主机资源和实际需求选择对应的像素对齐方式。例如，当需要高精度对齐且主机资源充裕时，可以选择软件对齐；当主机资源不充裕或者不追求高精度时，可以选择硬件对齐。

S120：对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征。

其中，目标检测可以指一种基于目标几何和统计特征的图像分割，具体可以是从一个场景(图像)中找出目标对象的方法，主要包括检测和识别两个过程，例如，在智能家居场景下检测和识别出目标对象等。目标对象可以指在目标检测所能够覆盖的场景区域下的检测和识别目标，在本申请实施例中，目标对象可以指人。位置信息可以指目标检测得到的目标对象的位置信息，该位置信息可以是目标对象在包含目标区域的待检测图像中的位置信息。外观特征可以表征目标对象的外形特点，外形特点指可以直接观察到的目标对象的特点，以目标对象是人为例，目标对象的外形特点可以为衣服的颜色、身高、发型等。

作为一种方式，可以将待检测图像输入预先训练好的目标检测网络，得到目标对象和目标对象的检测框。检测框可以对应有位置信息、外观特征，检测框的位置信息可以表征目标对象在当前场景下的位置，检测框的外观特征可以表征目标对象的外形特点。

其中，目标检测网络可以为YOLOX、R-CNN、Fast R-CNN、SSD等。

以目标检测网络为YOLOX为例，YOLOX可以包括特征提取网络和结果输出网络，可以将待检测图像输入预先训练好的YOLOX，YOLOX中的特征提取网络可以对输入的待检测图像进行特征提取，并将提取到的待检测图像对应的特征输入结果输出网络，得到目标对象和目标对象的检测框。如图3所示，检测框的位置信息可以表示为(x,y,w,h)，x,y分别可以表示检测框左上角的像素坐标，w、h分别可以表示检测框的宽和高。

其中，为了提高目标检测的准确性，结果输出网络可以为decoupled head(解耦头)，decoupled head可以有多个分支，一个分支可以用于输出分类识别结果，还有一个分支可以用于输出回归检测结果。分类识别结果可以表征输入的待检测图像所包含的图像内容的类别信息。若存在图像内容的类别信息与目标对象的类别信息相同，则可以表明输入的待检测图像中存在目标对象，回归检测结果可以表征识别出类别信息的图像内容对应的检测框的位置信息。同时，还可以基于回归检测结果从特征提取网络输出的特征中提取出检测框对应的外观特征。

S130：将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，所述历史外观特征为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的外观特征。

其中，目标对象的身份信息可以用于区分相同类别的目标对象。例如，当目标对象均为人时，可以给每个人设置一个ID(Identity Document，身份标识号)，使得可以基于ID确定对应的目标对象的身份信息。

作为一种方式，可以将外观特征和历史外观特征进行匹配，将匹配成功的历史外观特征的身份信息作为目标对象的身份信息。

可选的，外观特征和历史外观特征可以分别表示为特征向量，从而通过相似度度量(如余弦相似度、欧式距离等)的方式确定外观特征和历史外观特征是否匹配。

可选的，可以基于外观特征和历史外观特征的数量确定不同的匹配规则。

其中，第一种规则可以为：当外观特征和历史外观特征分别只有一个时，可以基于预先设置的相似度阈值与外观特征和历史外观特征之间的相似度度量结果确定外观特征和历史外观特征是否匹配，若相似度度量结果表征的匹配程度大于或等于相似度阈值表征的匹配程度，则确定外观特征和历史外观特征匹配；若相似度度量结果表征的匹配程度小于相似度阈值表征的匹配程度，则确定外观特征和历史外观特征不匹配。示例性的，当外观特征和历史外观特征的相似度度量结果越小表明匹配程度越大时，若相似度度量结果小于或等于相似度阈值，则确定外观特征和历史外观特征匹配；当外观特征和历史外观特征的相似度度量结果越大表明匹配程度越大时，若相似度度量结果大于或等于相似度阈值，则确定外观特征和历史外观特征匹配。

第二种规则可以为：当外观特征有多个(当前场景下存在多个目标对象)但历史外观特征只有一个时，可以将多个外观特征结果按照相似度度量结果所表征的匹配程度由大到小进行排序，将排在第一位的外观特征作为与历史外观特征成功匹配的外观特征。剩下的外观特征可能表示当前场景下有新的目标对象出现，可以为每个剩下的外观特征分配对应的身份信息。进一步地，为了更准确地确定目标对象的身份信息，可以将排在第一位的外观特征对应的相似度度量结果与预先设置的相似度阈值进行比较，按照第一种规则确定排在第一位的外观特征最终是否与历史外观特征匹配。

第三种规则可以为：当外观特征只有一个但历史外观特征有多个时，可以将多个历史外观特征结果按照相似度度量所表征的匹配程度由大到小进行排序，将排在第一位的历史外观特征作为与外观特征成功匹配的历史外观特征。剩下的历史外观特征可能表示在当前时刻之前出现在该场景下的目标对象离开了。进一步地，为了更准确地确定目标对象的身份信息，可以将排在第一位的历史外观特征对应的相似度度量结果与预先设置的相似度阈值进行比较，按照第一种规则确定排在第一位的历史外观特征最终是否与外观特征匹配。

第四种规则可以为：当外观特征和历史外观特征分别有多个时，可以先将每一个外观特征分别与多个历史外观特征进行相似度度量，确定出每一个外观特征对应的最匹配历史外观特征，若存在多个外观特征的最匹配历史外观特征相同，则选择与该相同历史特征匹配程度最大的外观特征作为与历史外观特征成功匹配的外观特征。示例性的，外观特征可以有A1、A2、A3，历史外观特征可以有B1，B2，其中，A1对应的最匹配历史外观特征可以为B1，A2、A3对应的最匹配历史外观特征可以为B2，若A2与B2的匹配程度大于或等于A3与B2的匹配程度，则A2为与历史外观特征B2成功匹配的外观特征；若A2与B2的匹配程度小于A3与B2的匹配程度，则A3为与历史外观特征B2成功匹配的外观特征。

作为另一种方式，可以将外观特征和历史外观特征进行匹配，得到第一匹配结果，第一匹配结果可以表征外观特征是否匹配成功；将位置信息与历史外观特征对应的预测位置信息进行匹配，得到第二匹配结果，预测位置信息可以基于历史外观特征对应的历史跟随轨迹得到，第二匹配结果可以表征位置信息是否匹配成功；若第一匹配结果和第二匹配结果均为匹配成功，可以将匹配成功的历史外观特征的身份信息作为目标对象的身份信息。

其中，历史跟随轨迹可以理解为在当前时刻之前所采集到的多帧待检测图像所包括的目标对象的位置信息，将目标对象之前的多个位置信息按照时间顺序进行记录，就可以得到目标对象的历史跟随轨迹。

可选的，可以通过deepsort(深度排序)算法进行外观特征和位置特征的匹配，deepsort算法可以理解为一种多目标跟踪算法，deepsort可以按照一种新的关联方式将目标对象的外观特征和位置变化情况结合起来并进行相关度量，从而提高了被遮挡目标对象的识别准确率。

可选的，在位置信息匹配时，deepsort算法先可以基于历史跟随轨迹预测当前目标对象的位置信息，也就是预测位置信息，该预测位置信息可以由预测检测框表示，再将预测检测框与基于步骤S120得到的当前真实检测框进行匹配，将二者的匹配结果作为第二匹配结果。

可选的，在deepsort算法中可以基于相似性度量的方式进行外观特征的匹配，基于IoU(Intersection over Union，交并比)进行位置信息的匹配，IoU可以计算预测检测框和真实边框的交叠率，即二者的交集和并集的比值，若二者完全重叠，则比值为1。

可选的，外观特征的匹配与位置信息的匹配之间并没有特定的先后顺序，可以两种匹配同时执行，也可以其中一种匹配先执行再执行另一种匹配。

作为再一种方式，可以将外观特征和历史外观特征进行匹配，若外观特征匹配成功，将位置信息与匹配成功的历史外观特征对应的预测位置信息进行匹配，若位置信息匹配成功，将匹配成功的历史外观特征的身份信息作为目标对象的身份信息。

S140：根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

作为一种方式，在获取到待检测图像所包括的目标对象的身份信息后，可以将获取到的身份信息与预先确定的目标跟随对象的身份信息进行匹配，将匹配成功的身份信息对应的位置信息作为目标跟随对象的位置信息，然后基于目标跟随对象的身份信息、位置信息和深度图像，得到目标跟随对象的深度信息，以基于目标跟随对象的深度信息、位置信息和身份信息对目标跟随对象进行跟随。

其中，预先确定的目标跟随对象可以指基于目标跟随任务预先确定的目标对象。

可选的，在得到目标跟随对象的身份信息和位置信息后，可以将目标跟随对象的身份信息和位置信息映射到深度图像上，进而得到目标跟随对象的深度信息，以基于目标跟随对象的深度信息、位置信息和身份信息对目标跟随对象进行跟随。

可选的，如图4所示，可以通过在深度图像中对应的位置标注出目标跟随对象的检测框和身份信息，实现在深度图像上的映射。进一步地，可以获取深度图像的检测框中心的深度信息，将获取到的深度信息作为目标跟随对象的深度信息。

可选的，在基于身份信息匹配得到目标跟随对象的深度信息后，机器人可以将该深度信息与预设深度信息进行比较，若该深度信息大于或者等于预设深度信息，可以基于目标跟随对象的位置信息和深度信息规划对应的跟随轨迹，以便基于跟随轨迹移动至指定位置，该指定位置可以使目标跟随对象的深度信息小于预设深度信息；若该深度信息小于预设深度信息，可以保持不动。

本实施例提供的一种目标跟随方法，在获取当前采集的待检测图像以及与所述待检测图像对应的深度图像后，对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征，将所述外观特征和根据历史采集的待检测图像以及深度图像获取到的具有身份信息的历史外观特征进行匹配，得到所述目标对象的身份信息，根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。通过上述方式使得，可以对待检测图像进行目标检测，得到目标对象的位置信息以及外观特征，将获取到的外观特征与具有身份信息的历史外观特征进行匹配，得到目标对象的身份信息，从而提高了跨视野跟随下对目标对象的身份信息认定的准确度，例如，在目标对象从跟随视野消失又重新出现时(如拐弯处等)，可以基于重新出现在跟随视野里的目标对象的外观特征和历史外观特征进行匹配，确定目标对象的身份信息。并且，基于目标对象深度信息、位置信息和更加准确的身份信息对目标对象进行跟随，可以提高跟随精度。

请参阅图5，本申请提供的一种目标跟随方法，所述方法包括：

S210：获取当前采集的待检测图像以及与所述待检测图像对应的深度图像。

S220：将所述待检测图像输入预先训练好的目标检测网络，得到所述目标对象和所述目标对象的检测框，所述检测框对应有位置信息、外观特征，所述位置信息表征所述目标对象在当前场景下的位置，所述外观特征表征所述目标对象的外形特点。

其中，检测框可以有多个，每个检测框除了位置信息、外观特征以外，还可以对应有置信分数，置信分数可以表征对应检测框中的内容为目标对象的概率。

作为一种方式，步骤220中的目标检测网络在输出分类识别结果的同时，还可以输出分类识别结果对应的置信分数，该置信分数可以为目标检测网络认为分类识别结果正确的概率，置信分数越高，表明目标检测网络认为得到的分类识别结果越准确。

S230：将所述多个检测框各自对应的置信分数分别与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框。

其中，高分检测框可以表征对应检测框中的图像内容有很大可能为目标对象，低分检测框可以表征对应检测框中的图像内容不太可能为目标对象。当出现低分检测框时，可能对应于以下两种情况，第一种可以是对应检测框中的图像内容与目标对象的类别并不相同，但外观特征较为相似；第二种可以是对应检测框中的图像内容就是目标对象，但由于目标对象被遮挡(如被其他目标对象遮挡或者被物体遮挡)，导致被遮挡的目标对象的外观特征发生了一些变化，所呈现的外观特征与目标检测网络学习到的目标对象的外形特征有所差异。

作为一种方式，当待检测图像中包含多个检测框时，可以得到多个检测框各自对应的置信分数，从而可以将多个检测框各自对应的置信分数分别与预设分数进行比较，若置信分数大于或等于预设分数，则对应的检测框为高分检测框；若置信分数小于预设分数，则对应的检测框为低分检测框。

可选的，为了提高对目标对象身份信息的识别准确程度，可以使高分检测框对应的图像内容均为目标对象，从而需要将预设分数的值设置得尽可能大，例如满分值为1的情况下预设分数可以为0.85。

S240：将所述外观特征和所述历史外观特征进行匹配，得到第一匹配结果，所述第一匹配结果表征外观特征是否匹配成功。

作为一种方式，如图6所示，在通过检测框分类模块对多个检测框进行分类后，可以将高分检测框和低分检测框分别输入到匹配模块，以进行外观特征和位置信息的匹配。在进行外观特征匹配时，可以基于步骤S130中的第二中规则和第四种规则，将高分检测框和低分检测框各自对应的外观特征分别和历史外观特征进行匹配，得到高分检测框和低分检测框各自对应的第一匹配结果。

S250：将所述高分检测框对应的位置信息与所述历史外观特征对应的预测位置信息进行匹配，得到所述高分检测框对应的第二匹配结果。

作为一种方式，可以基于deepsort算法预测历史跟随轨迹对应的当前位置信息，也就是预测位置信息，再将高分检测框对应的位置信息与预测位置信息基于IoU进行匹配，得到高分检测框对应的第二匹配结果。

可选的，历史跟随轨迹可以有多个，则预测位置信息也有多个，可以将高分检测框对应的位置信息分别与多个预测位置信息基于IoU进行匹配，将IoU值最大的预测位置信息作为高分检测框对应的匹配成功的预测位置信息，从而得到与高分检测框对应的匹配成功的历史跟随轨迹。

S260：若所述高分框对应的第一匹配结果和第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述高分框对应的目标对象的身份信息。

作为一种方式，若高分框对应的第一匹配结果和第二匹配结果均为匹配成功，可以将匹配成功的历史外观特征的身份信息作为高分框对应的目标对象的身份信息。

可选的，若所述高分检测框对应的第一匹配结果和第二匹配结果均表征匹配失败，表明在当前场景下高分检测框对应的目标对象为新出现的目标对象，可以新建身份信息，将新建的身份信息作为高分检测框对应的目标对象的身份信息；基于新建的身份信息新建高分检测框对应的目标对象对应的跟随轨迹。

可选的，可以在当前场景下，通过结构光深度摄像头连续采集多帧待检测图像和多帧待检测图像各自对应的深度图像，并通过采集到的多帧待检测图像和深度图像得到新出现的目标对象的位置变化情况和身份信息，从而新建高分检测框对应的目标对象对应的跟随轨迹。

S270：将所述低分检测框对应的位置信息与所述历史外观特征对应的预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分检测框对应的第二匹配结果。

作为一种方式，可以基于deepsort算法得到未与高分检测框成功匹配的预测位置信息，再将低分检测框对应的位置信息与预测位置信息基于IoU进行匹配，得到低分检测框对应的第二匹配结果。

可选的，未与高分检测框成功匹配的历史跟随轨迹可以有多个，则预测的当前位置信息也有多个，可以将低分检测框对应的位置信息分别与多个预测的当前位置基于IoU进行匹配，将IoU值最大的预测位置信息作为低分检测框对应的匹配成功的预测位置信息，从而得到与低分检测框对应的匹配成功的历史跟随轨迹。

S280：若所述低分框对应的第一匹配结果和第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述低分框对应的目标对象的身份信息。

作为一种方式，若低分框对应的第一匹配结果和第二匹配结果均为匹配成功，可以将匹配成功的历史外观特征的身份信息作为低分框对应的目标对象的身份信息。

可选的，获取目标跟随轨迹，所述目标跟随轨迹为未与所述高分检测框和所述低分检测框成功匹配的历史跟随轨迹；保留目标跟随轨迹中的部分轨迹。

其中，当目标跟随轨迹存在时，目标跟随轨迹的数量可以为一条或者多条，部分轨迹可以理解为每条目标跟随轨迹中的部分轨迹，同时为了保证目标跟随轨迹的有效性，可以保留目标跟随轨迹中最近的轨迹，也就是当前时刻以前的预设帧数的轨迹。

示例性的，历史跟随轨迹可以有S1、S2、S3、S4，其中，S1与高分检测框成功匹配，S2与低分检测框成功匹配，则目标跟随轨迹可以为S3、S4，则可以保留S3、S4在当前时刻之前的30帧待检测图像对应的轨迹。

S290：根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

本实施例提供的一种目标跟随方法，通过上述方式使得，可以对待检测图像进行目标检测，得到目标对象的位置信息以及外观特征，将获取到的外观特征与具有身份信息的历史外观特征进行匹配，得到目标对象的身份信息，从而提高了跨视野跟随下对目标对象的身份信息认定的准确度，例如，在目标对象从跟随视野消失又重新出现时(如拐弯处等)，可以基于重新出现在跟随视野里的目标对象的外观特征和历史外观特征进行匹配，确定目标对象的身份信息。并且，基于目标对象深度信息、位置信息和更加准确的身份信息对目标对象进行跟随，可以提高跟随精度。并且，在本实施例中，在存在多个检测框时，可以将检测框按照置信分数进行分类，得到高分检测框和低分检测框，并且在进行位置信息匹配时，可以先将高分检测框与预测位置信息进行匹配，得到高分检测框对应的第二匹配结果；在将低分检测框与预测位置信息中未与高分检测框成功匹配的预测位置信息进行匹配，得到低分检测框对应的第二匹配结果，使得在优先确保高分检测框的第二匹配结果准确的情况下，可以进一步确认低分检测框是否存在成功匹配的预测位置信息，从而可以提高目标对象被遮挡时的身份信息是被准确程度，进而提高了跟随精度。

请参阅图7，本申请提供的一种目标跟随方法，所述方法包括：

S310：获取当前采集的待检测图像以及与所述待检测图像对应的深度图像。

S320：对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征。

S330：将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，所述历史外观特征为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的外观特征。

S340：将所述身份信息和所述位置信息映射到所述深度图像，得到第一深度信息。

其中，第一深度信息可以指根据当前采集的深度图像和待检测图像确定的深度信息。

S350：获取第二深度信息，所述第二深度信息为根据上一次采集的深度图像和待检测图像确定的深度信息。

在本申请实例中，可以通过结构光摄像头多次采集同一应用场景下的待检测图像和待检测图像对应的深度图像，每次采集可以得到一帧待检测图像和一帧深度图像。

作为一种方式，可以在根据每次采集到的深度图像和待检测图像得到当次对应的深度信息后，将得到的深度信息与每次采集的时间、身份信息一一对应地存储在指定位置，从而可以从指定位置中获取第二深度信息。示例性的，深度信息的存储格式可以如表1所示。

表1

作为另一种方式，为了节约存储空间，可以在根据每次采集到的深度图像和待检测图像得到当次采集过程中每个目标对象对应的深度信息后，将得到的深度信息与身份信息一一对应地存储在指定位置，并在得到下一次的深度信息后，将对应目标对象的深度信息进行更新，也就是采用下一次得到的深度信息替换当次采集的对应的目标对象的深度信息。示例性的，当次采集到的深度信息可以为X1、Y1，X1对应的身份信息可以为001，Y1对应的身份信息可以为002，在下一次采集时，得到001对应的深度信息可以为X2，并且未检测到002，则可以将指定位置中的X1替换为X2，Y1保持不变。

S360：根据所述第一深度信息和所述第二深度信息，得到所述目标对象的深度信息。

作为一种方式，若第一深度信息与第二深度信息的差值超过预设范围，将第一深度信息和第二深度信息的平均值作为目标对象的深度信息；若第一深度信息与第二深度信息的差值未超过预设范围，可以将第一深度信息作为目标对象的深度信息。

其中，第一深度信息与第二深度信息的差值超过预设范围，表明目标对象的移动速度快，位置偏移较为明显，可能出现目标对象的位置中心点与质心不重合、深度图空洞等情况，从而使得第一深度信息与真实的深度信息存在较大差异，为了得到更准确的深度信息，从而提升跟随精度，可以通过多帧平滑的方式将第一深度信息和第二深度信息的平均值作为目标对象的深度信息。

作为另一种方式，由于在本申请提出的方法中，更侧重于获取当前的目标对象的深度信息，因此，在第一深度信息与第二深度信息的差值超过预设范围时，可以将第一深度信息和第二深度信息的加权和作为目标对象的深度信息，其中，第一深度信息的对应的权重系数大于第二深度信息对应的权重系数。

示例性的，第一深度信息可以为X且对应的权重系数可以为0.6，第二深度信息可以为Y且对应的权重系数可以为0.4，预设范围可以为[-A，A]，其中，A为正数，第一深度信息与第二深度信息的差值可以为B，当B小于-A或者大于A时，表明第一深度信息与第二深度信息的差值超过预设范围，则目标对象的深度信息可以为：0.6X+0.4Y。

可选的，预设范围可以基于多次试验得到。

S370：基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

本实施例提供的一种目标跟随方法，通过上述方式使得，可以对待检测图像进行目标检测，得到目标对象的位置信息以及外观特征，将获取到的外观特征与具有身份信息的历史外观特征进行匹配，得到目标对象的身份信息，从而提高了跨视野跟随下对目标对象的身份信息认定的准确度，例如，在目标对象从跟随视野消失又重新出现时(如拐弯处等)，可以基于重新出现在跟随视野里的目标对象的外观特征和历史外观特征进行匹配，确定目标对象的身份信息。并且，基于目标对象深度信息、位置信息和更加准确的身份信息对目标对象进行跟随，可以提高跟随精度。并且，在本实施例中，通过将第一深度信息和第二深度信息的差值与预设范围进行比较，可以确认目标对象是否处于快速移动状态，并在快速移动状态时，将第一深度信息和第二深度信息的平均值作为目标对象的深度信息，从而提高了目标对象的深度信息的准确性，进而提高了跟随精度。

请参阅图8，本申请提供的一种目标跟随方法，所述方法包括：

S410：获取当前采集的待检测图像以及与所述待检测图像对应的深度图像。

其中，待检测图像可以指彩色图像、伪彩色图像、灰度图像，其中彩色图像可以为RGB图像。深度图像可以指反映待检测图像中图像内容的深度信息的图像，深度信息可以指在图像采集场景下图像内容与图像采集设备之间的距离。

作为一种方式，跟随机器人可以搭载有结构光深度摄像头，并通过结构光深度摄像头采集目标区域下的待检测图像和深度图像，以获取到当前采集的待检测图像以及与待检测图像对应的深度图像。

由于结构光深度摄像头中的单目摄像头和深度摄像头处于不同位置且视场角不同，可能导致采集的待检测图像和待检测图像对应的深度图像无法完全重合，从而使得后续将二者的信息进行融合时，无法得到准确的融合信息，进而降低跟随精度。因此，作为另一种方式，可以在通过结构光深度摄像头获取当前采集的原始待检测图像以及与原始待检测图像对应的深度图像后，将原始待检测图像和原始待检测图像对应的深度图像进行像素对齐，将对齐后的待检测图像和对齐后的深度图像作为待检测图像和所述深度图像。

可选的，可以通过逐像素对齐(D2C)的方式将原始待检测图像和原始待检测图像对应的深度图像的像素对齐。D2C可以包括硬件对齐和软件对齐两种方式，其中，硬件对齐方式可以由相关芯片完成，不消耗主机资源，效率较高，但对深度图的分辨率有要求，最大可支持640x480的分辨率，其中主机可以指智能移动终端的CPU(Central ProcessingUnit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等。软件对齐方式的精度较高，但会消耗大量主机算力，不适合计算能力较弱或主机资源紧张的平台。因此，可以基于主机资源和实际需求选择对应的像素对齐方式。例如，当需要高精度对齐且主机资源充裕时，可以选择软件对齐；当主机资源不充裕或者不追求高精度时，可以选择硬件对齐。

S420：若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，其中，所述高分检测框中的内容为目标对象的概率，高于所述低分检测框中的内容为目标对象的概率，每个所述检测框对应有位置信息，所述位置信息表征所述检测框中所述目标对象的位置。

其中，高分检测框可以表征对应检测框中的图像内容有很大可能为目标对象，低分检测框可以表征对应检测框中的图像内容有不太可能为目标对象。当出现低分检测框时，可能对应于以下两种情况，第一种可以是对应检测框中的图像内容与目标对象的类别并不相同，但外观特征较为相似；第二种可以是对应检测框中的图像内容就是目标对象，但由于目标对象被遮挡(如被其他目标对象遮挡或者被物体遮挡)，导致被遮挡的目标对象的外观特征发生了一些变化，所呈现的外观特征与目标检测网络学习到的目标对象的外形特征有所差异。

在本申请实施例中，目标对象的身份信息可以用于区分相同类别的目标对象。例如，当目标对象均为人时，可以给每个人设置一个ID(Identity Document，身份标识号)，使得可以基于ID确定对应的目标对象的身份信息。

作为一种方式，可以对待检测图像进行目标检测，得到待检测图像对应的检测框，检测框可以对应有置信分数，置信分数可以表征检测框中的内容为目标对象的概率；若检测框有多个，可以将多个检测框各自对应的置信分数与预设分数进行比较，基于比较结果得到多个检测框各自对应的类别，类别可以包括高分检测框和低分检测框。

可选的，可以将待检测图像输入预先训练好的目标检测网络，得到待检测图像对应的检测框。检测框可以对应有位置信息、置信分数。

其中，目标检测网络可以为YOLOX、R-CNN、Fast R-CNN、SSD等。

可选的，为了提高对目标对象身份信息的识别准确程度，可以使高分检测框对应的图像内容均为目标对象，从而需要将预设分数的值设置得尽可能大，例如满分值为1的情况下预设分数可以为0.85。

S430：将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到所述高分框对应的目标对象的身份信息，所述预测位置信息基于历史跟随轨迹得到，所述历史跟随轨迹为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的跟随轨迹。

作为一种方式，可以基于deepsort算法预测历史跟随轨迹对应的当前位置信息，也就是预测位置信息，再将高分检测框对应的位置信息与预测位置信息基于IoU进行匹配，得到高分检测框对应目标对象的身份信息。

可选的，历史跟随轨迹可以有多个，则预测位置信息也有多个，可以将高分检测框对应的位置信息分别与多个预测位置信息基于IoU进行匹配，将IoU值最大的预测位置信息作为高分检测框对应的匹配成功的预测位置信息，从而得到与高分检测框对应的目标对象的身份信息。

S440：将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分框对应的目标对象的身份信息。

作为一种方式，可以基于deepsort算法得到未与高分检测框成功匹配的预测位置信息，再将低分检测框对应的位置信息与预测位置信息基于IoU进行匹配，得到低分检测框对应的目标对象的身份信息。

可选的，未与高分检测框成功匹配的历史跟随轨迹可以有多个，则预测的当前位置信息也有多个，可以将低分检测框对应的位置信息分别与多个预测的当前位置基于IoU进行匹配，将IoU值最大的预测位置信息作为低分检测框对应的匹配成功的预测位置信息，从而得到与低分检测框对应的目标对象的身份信息。

S450：根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

作为一种方式，可以将高分框对应的目标对象的身份信息、低分框对应的目标对象的身份信息分别与预先确定的目标跟随对象的身份信息进行匹配，将匹配成功的身份信息对应的位置信息作为目标跟随对象的位置信息；基于目标跟随对象的身份信息、位置信息和深度图像，得到目标跟随对象的深度信息，以基于目标跟随对象的深度信息、位置信息和身份信息对目标跟随对象进行跟随。

其中，预先确定的目标跟随对象可以指基于目标跟随任务预先确定的目标对象。

可选的，在得到目标跟随对象的身份信息和位置信息后，可以将目标跟随对象的身份信息和位置信息映射到深度图像上，进而得到目标跟随对象的深度信息，以基于目标跟随对象的深度信息、位置信息和身份信息对目标跟随对象进行跟随。

可选的，可以通过在深度图像中对应的位置标注出目标跟随对象的检测框和身份信息，实现在深度图像上的映射。进一步地，可以获取深度图像的检测框中心的深度信息，将获取到的深度信息作为目标跟随对象的深度信息。

作为一种方式，可以将高分框对应的目标对象的身份信息、低分框对应的目标对象的身份信息和位置信息映射到深度图像，得到第一深度信息；获取第二深度信息，第二深度信息可以为根据上一次采集的深度图像和待检测图像确定的深度信息；根据第一深度信息和第二深度信息，得到目标对象的深度信息。

其中，第一深度信息可以指根据当前采集的深度图像和待检测图像确定的深度信息。

在本申请实例中，可以通过结构光摄像头多次采集同一应用场景下的待检测图像和待检测图像对应的深度图像，每次采集可以得到一帧待检测图像和一帧深度图像。因此，在可以在根据每次采集到的深度图像和待检测图像得到当次对应的深度信息后，将当次对应的深度信息按照步骤S350中的方式进行存储，从而得到第二深度信息。

可选的，若第一深度信息与第二深度信息的差值超过预设范围，可以将第一深度信息和第二深度信息的平均值作为目标对象的深度信息；若第一深度信息与第二深度信息的差值未超过预设范围，可以将第一深度信息作为目标对象的深度信息。

其中，第一深度信息与第二深度信息的差值超过预设范围，表明目标对象的移动速度快，位置偏移较为明显，可能出现目标对象的位置中心点与质心不重合、深度图空洞等情况，从而使得第一深度信息与真实的深度信息存在较大差异，为了得到更准确的深度信息，从而提升跟随精度，可以通过多帧平滑的方式将第一深度信息和第二深度信息的平均值作为目标对象的深度信息。

可选的，由于在本申请提出的方法中，更侧重于获取当前的目标对象的深度信息，因此，在第一深度信息与第二深度信息的差值超过预设范围时，可以将第一深度信息和第二深度信息的加权和作为目标对象的深度信息，其中，第一深度信息的对应的权重系数大于第二深度信息对应的权重系数。

示例性的，第一深度信息可以为X且对应的权重系数可以为0.6，第二深度信息可以为Y且对应的权重系数可以为0.4，预设范围可以为[-A，A]，其中，A为正数，第一深度信息与第二深度信息的差值可以为B，当B小于-A或者大于A时，表明第一深度信息与第二深度信息的差值超过预设范围，则目标对象的深度信息可以为：0.6X+0.4Y。

可选的，预设范围可以基于多次试验得到。

在本实施例中，通过将第一深度信息和第二深度信息的差值与预设范围进行比较，可以确认目标对象是否处于快速移动状态，并在快速移动状态时，将第一深度信息和第二深度信息的平均值作为目标对象的深度信息，从而提高了目标对象的深度信息的准确性，进而提高了跟随精度。

本实施例提供的一种目标跟随方法，通过上述方式使得，在存在多个检测框时，可以将检测框按照置信分数进行分类，得到高分检测框和低分检测框，并且在进行位置信息匹配时，可以先将高分检测框与预测位置信息进行匹配，得到高分检测框对应的目标对象的身份信息；再将低分检测框与预测位置信息中未与高分检测框成功匹配的预测位置信息进行匹配，得到低分检测框对应的目标对象的身份信息，使得在优先确保高分检测框对应的目标对象的身份信息准确的情况下，可以进一步确认低分检测框是否存在对应的目标对象的身份信息，从而可以提高目标对象被遮挡时的身份信息是被准确程度，进而提高了跟随精度。

请参阅图9，本申请提供的一种目标跟随方法，所述方法包括：

S510：获取当前采集的待检测图像以及与所述待检测图像对应的深度图像。

S520：若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，其中，所述高分检测框中的内容为目标对象的概率，高于所述低分检测框中的内容为目标对象的概率，每个所述检测框对应有位置信息，所述位置信息表征所述检测框中所述目标对象的位置。

其中，每个检测框还对应有外观特征，外观特征可以表征对应检测框中目标对象的外形特点，外形特点指可以直接观察到的目标对象的特点，以目标对象是人为例，目标对象的外形特点可以为衣服的颜色、身高、发型等。

S530：将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到第一高分匹配结果，所述第一高分匹配结果表征所述高分检测框对应的位置信息是否匹配成功。

S540：将所述外观特征和所述历史跟随轨迹对应的历史外观特征进行匹配，得到第二高分匹配结果，所述第二高分匹配结果表征所述高分检测框对应的外观特征是否匹配成功。

作为一种方式，可以基于步骤S130中的匹配方法得到第二高分匹配结果。

S550：若所述第一高分匹配结果和所述第二高分匹配结果均为匹配成功，将匹配成功的位置信息的身份信息作为所述高分检测框对应的目标对象的身份信息。

作为一种方式，若第一高分匹配结果和第二高分匹配结果均为匹配成功，可以将匹配成功的位置信息的身份信息作为高分框对应的目标对象的身份信息。

可选的，若第一高分匹配结果和第二高分匹配结果均表征匹配失败，表明在当前场景下高分检测框对应的目标对象为新出现的目标对象，可以新建身份信息，将新建的身份信息作为高分检测框对应的目标对象的身份信息；基于新建的身份信息新建高分检测框对应的目标对象对应的跟随轨迹。

可选的，可以在当前场景下，通过结构光深度摄像头连续采集多帧待检测图像和多帧待检测图像各自对应的深度图像，并通过采集到的多帧待检测图像和深度图像得到新出现的目标对象的位置变化情况和身份信息，从而新建高分检测框对应的目标对象对应的跟随轨迹。

S560：将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到第一低分匹配结果，所述第一低分匹配结果表征所述低分检测框对应的位置信息是否匹配成功。

S570：将所述外观特征和所述历史跟随轨迹对应的历史外观特征进行匹配，得到第二低分匹配结果，所述第二低分匹配结果表征所述低分检测框对应的外观特征是否匹配成功。

作为一种方式，可以基于步骤S130中的匹配方法得到第二低分匹配结果。

S580：若所述第一低分匹配结果和所述第二低分匹配结果均为匹配成功，将匹配成功的位置信息的身份信息作为所述低分检测框对应的目标对象的身份信息。

作为一种方式，若第一低分匹配结果和第二低分匹配结果均为匹配成功，可以将匹配成功的位置信息的身份信息作为低分框对应的目标对象的身份信息。

可选的，获取目标跟随轨迹，目标跟随轨迹可以为未与高分检测框和低分检测框成功匹配的历史跟随轨迹；保留目标跟随轨迹中的部分轨迹。

其中，当目标跟随轨迹存在时，目标跟随轨迹的数量可以为一条或者多条，部分轨迹可以理解为每条目标跟随轨迹中的部分轨迹，同时为了保证目标跟随轨迹的有效性，可以保留目标跟随轨迹中最近的轨迹，也就是当前时刻以前的预设帧数的轨迹。

示例性的，历史跟随轨迹可以有S1、S2、S3、S4，其中，S1与高分检测框成功匹配，S2与低分检测框成功匹配，则目标跟随轨迹可以为S3、S4，则可以保留S3、S4在当前时刻之前的30帧待检测图像对应的轨迹。

S590：根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

本实施例提供的一种目标跟随方法，通过上述方式使得，在存在多个检测框时，可以将检测框按照置信分数进行分类，得到高分检测框和低分检测框，并且在进行位置信息匹配时，可以先将高分检测框与预测位置信息进行匹配，得到高分检测框对应的目标对象的身份信息；再将低分检测框与预测位置信息中未与高分检测框成功匹配的预测位置信息进行匹配，得到低分检测框对应的目标对象的身份信息，使得在优先确保高分检测框对应的目标对象的身份信息准确的情况下，可以进一步确认低分检测框是否存在对应的目标对象的身份信息，从而可以提高目标对象被遮挡时的身份信息是被准确程度，进而提高了跟随精度。并且，在本实施例中，可以对待检测图像进行目标检测，得到得到高分检测框和低分检测框，以及得到高分检测框和低分检测框各自对应的位置信息以及外观特征，将高分检测框和低分检测框各自对应的外观特征与历史跟随轨迹对应的历史外观特征进行匹配，得到第二高分匹配结果和第二低分匹配结果，可以提高跨视野跟随下对目标对象的身份信息认定的准确度，例如，在目标对象从跟随视野消失又重新出现时(如拐弯处等)，可以基于重新出现在跟随视野里的目标对象的外观特征和历史外观特征进行匹配，确定目标对象的身份信息。

请参阅图10，本申请提供的一种目标跟随装置600，所述装置600包括：

图像获取单元610，用于获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；

目标对象信息获取单元620，用于对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征；

身份信息获取单元630，用于将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，所述历史外观特征为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的外观特征；

深度信息获取单元640，用于根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

作为一种方式，图像获取单元610具体用于获取当前采集的原始待检测图像以及与所述原始待检测图像对应的深度图像；将所述原始待检测图像和所述原始待检测图像对应的深度图像进行像素对齐，将对齐后的待检测图像和对齐后的深度图像作为所述待检测图像和所述深度图像。

作为一种方式，目标对象信息获取单元620具体用于将所述待检测图像输入预先训练好的目标检测网络，得到所述目标对象和所述目标对象的检测框，所述检测框对应有位置信息、外观特征，所述位置信息表征所述目标对象在当前场景下的位置，所述外观特征表征所述目标对象的外形特点。

作为一种方式，身份信息获取单元630具体用于将所述外观特征和所述历史外观特征进行匹配，将匹配成功的历史外观特征的身份信息作为所述目标对象的身份信息。

作为另一种方式，身份信息获取单元630具体用于将所述外观特征和所述历史外观特征进行匹配，得到第一匹配结果，所述第一匹配结果表征外观特征是否匹配成功；将所述位置信息与所述历史外观特征对应的预测位置信息进行匹配，得到第二匹配结果，所述预测位置信息基于所述历史外观特征对应的历史跟随轨迹得到，所述第二匹配结果表征位置信息是否匹配成功；若所述第一匹配结果和所述第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述目标对象的身份信息。

可选的，所述检测框有多个，每个所述检测框对应有置信分数，所述置信分数表征对应检测框中的内容为所述目标对象的概率，目标对象信息获取单元620具体用于将所述多个检测框各自对应的置信分数分别与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框。身份信息获取单元630具体用于将所述高分检测框对应的位置信息与所述历史外观特征对应的预测位置信息进行匹配，得到所述高分检测框对应的第二匹配结果；若所述高分框对应的第一匹配结果和第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述高分框对应的目标对象的身份信息。

可选的，身份信息获取单元630具体用于将所述低分检测框对应的位置信息与所述历史外观特征对应的预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分检测框对应的第二匹配结果；若所述低分框对应的第一匹配结果和第二匹配结果均为成功，将匹配成功的历史外观特征的身份信息作为所述低分框对应的目标对象的身份信息。

可选的，身份信息获取单元630具体用于若所述高分检测框对应的第一匹配结果和第二匹配结果均表征匹配失败，新建身份信息，将所述新建的身份信息作为所述高分检测框对应的目标对象的身份信息；基于所述新建的身份信息新建所述高分检测框对应的目标对象对应的跟随轨迹。

可选的，身份信息获取单元630具体用于获取目标跟随轨迹，所述目标跟随轨迹为未与所述高分检测框和所述低分检测框成功匹配的历史跟随轨迹；保留所述目标跟随轨迹中的部分轨迹。

作为一种方式，深度信息获取单元640具体用于将所述身份信息和所述位置信息映射到所述深度图像，得到第一深度信息；获取第二深度信息，所述第二深度信息为根据上一次采集的深度图像和待检测图像确定的深度信息；根据所述第一深度信息和所述第二深度信息，得到所述目标对象的深度信息。

可选的，深度信息获取单元640具体用于若所述第一深度信息与所述第二深度信息的差值超过预设范围，将所述第一深度信息和所述第二深度信息的平均值作为所述目标对象的深度信息；若所述第一深度信息与所述第二深度信息的差值未超过所述预设范围，将所述第一深度信息作为所述目标对象的深度信息。

可选的，所述深度图像由红外摄像头采集。

请参阅图11，本申请提供的一种目标跟随装置800，所述装置800包括：

图像获取单元810，用于获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；

检测框分类单元820，用于若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，其中，所述高分检测框中的内容为目标对象的概率，高于所述低分检测框中的内容为目标对象的概率，每个所述检测框对应有位置信息，所述位置信息表征所述检测框中所述目标对象的位置；

身份信息获取单元830，用于若所述检测框有多个，将所述多个检测框各自对应的置信分数与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框；将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到所述高分框对应的目标对象的身份信息，所述预测位置信息基于历史跟随轨迹得到，所述历史跟随轨迹为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的跟随轨迹；将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分框对应的目标对象的身份信息；

深度信息获取单元840，用于根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

作为一种方式，图像获取单元810具体用于获取当前采集的原始待检测图像以及与所述原始待检测图像对应的深度图像；将所述原始待检测图像和所述原始待检测图像对应的深度图像进行像素对齐，将对齐后的待检测图像和对齐后的深度图像作为所述待检测图像和所述深度图像。

作为一种方式，检测框分类单元820具体用于对所述待检测图像进行目标检测，得到所述待检测图像对应的检测框，所述检测框对应有置信分数，所述置信分数表征所述检测框中的内容为目标对象的概率；若所述检测框有多个，将所述多个检测框各自对应的置信分数与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框。

作为一种方式，每个所述检测框还对应有外观特征，所述外观特征表征对应检测框中目标对象的外观特征，身份信息获取单元830具体用于将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到第一高分匹配结果，所述第一高分匹配结果表征所述高分检测框对应的位置信息是否匹配成功；将所述外观特征和所述历史跟随轨迹对应的历史外观特征进行匹配，得到第二高分匹配结果，所述第二高分匹配结果表征所述高分检测框对应的外观特征是否匹配成功；若所述第一高分匹配结果和所述第二高分匹配结果均为匹配成功，将匹配成功的位置信息的身份信息作为所述高分检测框对应的目标对象的身份信息。

可选的，身份信息获取单元830具体用于将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到第一低分匹配结果，所述第一低分匹配结果表征所述低分检测框对应的位置信息是否匹配成功；将所述外观特征和所述历史跟随轨迹对应的历史外观特征进行匹配，得到第二低分匹配结果，所述第二低分匹配结果表征所述低分检测框对应的外观特征是否匹配成功；若所述第一低分匹配结果和所述第二低分匹配结果均为匹配成功，将匹配成功的位置信息的身份信息作为所述低分检测框对应的目标对象的身份信息。

可选的，身份信息获取单元830具体用于若所述第一高分匹配结果和所述第二高分匹配结果均表征匹配失败，新建身份信息，将所述新建的身份信息作为所述高分检测框对应的目标对象的身份信息；基于所述新建的身份信息新建所述高分检测框对应的目标对象对应的跟随轨迹。

可选的，身份信息获取单元830具体用于获取目标跟随轨迹，所述目标跟随轨迹为未与所述高分检测框和所述低分检测框成功匹配的历史跟随轨迹；保留所述目标跟随轨迹中的部分轨迹。

作为一种方式，深度信息获取单元840具体用于将所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息和所述位置信息映射到所述深度图像，得到第一深度信息；获取第二深度信息，所述第二深度信息为根据上一次采集的深度图像和待检测图像确定的深度信息；根据所述第一深度信息和所述第二深度信息，得到所述目标对象的深度信息。

可选的，深度信息获取单元840具体用于若所述第一深度信息与所述第二深度信息的差值超过预设范围，将所述第一深度信息和所述第二深度信息的平均值作为所述目标对象的深度信息；若所述第一深度信息与所述第二深度信息的差值未超过所述预设范围，将所述第一深度信息作为所述目标对象的深度信息。

可选的，深度信息获取单元840具体用于将所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息分别与预先确定的目标跟随对象的身份信息进行匹配，将匹配成功的身份信息对应的位置信息作为目标跟随对象的位置信息；基于所述目标跟随对象的身份信息、位置信息和所述深度图像，得到所述目标跟随对象的深度信息，以基于所述目标跟随对象的深度信息、位置信息和身份信息对所述目标跟随对象进行跟随。

可选的，所述深度图像由红外摄像头采集。

下面将结合图12对本申请提供的一种机器人进行说明。

请参阅图12，基于上述的目标跟随方法、装置，本申请实施例还提供的另一种可以执行前述目标跟随方法的机器人100。机器人100包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、摄像头106、移动模块108。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个机器人100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行机器人100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

摄像头106可以用于采集待检测图像和待检测图像对应的深度图像。可以选的，摄像头106可以为结构光摄像头。

移动模块108可以用于使机器人100进行位置移动。可选的，移动模块可以包括多个万向轮。

请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1000中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质1000具有执行上述方法中的任何方法步骤的程序代码1010的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1010可以例如以适当形式进行压缩。

综上所述，本申请提供的一种目标跟随方法、装置以及机器人，在获取当前采集的待检测图像以及与所述待检测图像对应的深度图像后，对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征，将所述外观特征和根据历史采集的待检测图像以及深度图像获取到的具有身份信息的历史外观特征进行匹配，得到所述目标对象的身份信息，根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。通过上述方式使得，可以对待检测图像进行目标检测，得到目标对象的位置信息以及外观特征，将获取到的外观特征与具有身份信息的历史外观特征进行匹配，得到目标对象的身份信息，从而提高了跨视野跟随下对目标对象的身份信息认定的准确度，例如，在目标对象从跟随视野消失又重新出现时(如拐弯处等)，可以基于重新出现在跟随视野里的目标对象的外观特征和历史外观特征进行匹配，确定目标对象的身份信息。并且，基于目标对象深度信息、位置信息和更加准确的身份信息对目标对象进行跟随，可以提高跟随精度。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (28)

1.一种目标跟随方法，其特征在于，所述方法包括：

获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；

对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征；

将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，所述历史外观特征为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的外观特征；

根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

2.根据权利要求1所述的方法，其特征在于，所述将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，包括：

将所述外观特征和所述历史外观特征进行匹配，将匹配成功的历史外观特征的身份信息作为所述目标对象的身份信息。

3.根据权利要求1所述的方法，其特征在于，所述将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，包括：

将所述外观特征和所述历史外观特征进行匹配，得到第一匹配结果，所述第一匹配结果表征外观特征是否匹配成功；

将所述位置信息与所述历史外观特征对应的预测位置信息进行匹配，得到第二匹配结果，所述预测位置信息基于所述历史外观特征对应的历史跟随轨迹得到，所述第二匹配结果表征位置信息是否匹配成功；

若所述第一匹配结果和所述第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述目标对象的身份信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征，包括：

将所述待检测图像输入预先训练好的目标检测网络，得到所述目标对象和所述目标对象的检测框，所述检测框对应有位置信息、外观特征，所述位置信息表征所述目标对象在当前场景下的位置，所述外观特征表征所述目标对象的外形特点。

5.根据权利要求4所述的方法，其特征在于，所述检测框有多个，每个所述检测框对应有置信分数，所述置信分数表征对应检测框中的内容为所述目标对象的概率，所述将所述待检测图像输入预先训练好的目标检测网络，得到所述目标对象和所述目标对象的检测框之后，还包括：

将所述多个检测框各自对应的置信分数分别与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框；

所述将所述位置信息与所述历史外观特征对应的预测位置信息进行匹配，得到第二匹配结果，包括：

将所述高分检测框对应的位置信息与所述历史外观特征对应的预测位置信息进行匹配，得到所述高分检测框对应的第二匹配结果；

所述若所述第一匹配结果和所述第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述目标对象的身份信息，包括：

若所述高分框对应的第一匹配结果和第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述高分框对应的目标对象的身份信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述低分检测框对应的位置信息与所述历史外观特征对应的预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分检测框对应的第二匹配结果；

若所述低分框对应的第一匹配结果和第二匹配结果均为匹配成功，将匹配成功的历史外观特征的身份信息作为所述低分框对应的目标对象的身份信息。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述高分检测框对应的第一匹配结果和第二匹配结果均表征匹配失败，新建身份信息，将所述新建的身份信息作为所述高分检测框对应的目标对象的身份信息；

基于所述新建的身份信息新建所述高分检测框对应的目标对象对应的跟随轨迹。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取目标跟随轨迹，所述目标跟随轨迹为未与所述高分检测框和所述低分检测框成功匹配的历史跟随轨迹；

保留所述目标跟随轨迹中的部分轨迹。

9.根据权利要求1所述的方法，其特征在于，所述根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随，包括：

将所述身份信息和所述位置信息映射到所述深度图像，得到第一深度信息；

获取第二深度信息，所述第二深度信息为根据上一次采集的深度图像和待检测图像确定的深度信息；

根据所述第一深度信息和所述第二深度信息，得到所述目标对象的深度信息。

10.根据权利要求9所述的方法，其特征在于，所述根据所述第一深度信息和所述第二深度信息，得到所述目标对象的深度信息，包括：

若所述第一深度信息与所述第二深度信息的差值超过预设范围，将所述第一深度信息和所述第二深度信息的平均值作为所述目标对象的深度信息；

若所述第一深度信息与所述第二深度信息的差值未超过所述预设范围，将所述第一深度信息作为所述目标对象的深度信息。

11.根据权利要求1所述的方法，其特征在于，所述获取当前采集的待检测图像以及与所述待检测图像对应的深度图像，包括：

获取当前采集的原始待检测图像以及与所述原始待检测图像对应的深度图像；

将所述原始待检测图像和所述原始待检测图像对应的深度图像进行像素对齐，将对齐后的待检测图像和对齐后的深度图像作为所述待检测图像和所述深度图像。

12.根据权利要求1所述的方法，其特征在于，所述根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随，包括：

将所述身份信息与预先确定的目标跟随对象的身份信息进行匹配，将匹配成功的身份信息对应的位置信息作为目标跟随对象的位置信息；

基于所述目标跟随对象的身份信息、位置信息和所述深度图像，得到所述目标跟随对象的深度信息，以基于所述目标跟随对象的深度信息、位置信息和身份信息对所述目标跟随对象进行跟随。

13.根据权利要求1-12任一所述的方法，其特征在于，所述深度图像由红外摄像头采集。

14.一种目标跟随方法，其特征在于，所述方法包括：

获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；

若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，其中，所述高分检测框中的内容为目标对象的概率，高于所述低分检测框中的内容为目标对象的概率，每个所述检测框对应有位置信息，所述位置信息表征所述检测框中所述目标对象的位置；

将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到所述高分框对应的目标对象的身份信息，所述预测位置信息基于历史跟随轨迹得到，所述历史跟随轨迹为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的跟随轨迹；

将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分框对应的目标对象的身份信息；

根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

15.根据权利要求14所述的方法，其特征在于，所述若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，包括：

对所述待检测图像进行目标检测，得到所述待检测图像对应的检测框，所述检测框对应有置信分数，所述置信分数表征所述检测框中的内容为目标对象的概率；

若所述检测框有多个，将所述多个检测框各自对应的置信分数与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框。

16.根据权利要求14所述的方法，其特征在于，每个所述检测框还对应有外观特征，所述外观特征表征对应检测框中目标对象的外形特点，所述将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到所述高分框对应的目标对象的身份信息，包括：

将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到第一高分匹配结果，所述第一高分匹配结果表征所述高分检测框对应的位置信息是否匹配成功；

将所述外观特征和所述历史跟随轨迹对应的历史外观特征进行匹配，得到第二高分匹配结果，所述第二高分匹配结果表征所述高分检测框对应的外观特征是否匹配成功；

若所述第一高分匹配结果和所述第二高分匹配结果均为匹配成功，将匹配成功的位置信息的身份信息作为所述高分检测框对应的目标对象的身份信息。

17.根据权利要求16所述的方法，其特征在于，所述方法还包括：

若所述第一高分匹配结果和所述第二高分匹配结果均表征匹配失败，新建身份信息，将所述新建的身份信息作为所述高分检测框对应的目标对象的身份信息；

基于所述新建的身份信息新建所述高分检测框对应的目标对象对应的跟随轨迹。

18.根据权利要求16所述的方法，其特征在于，所述将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分框对应的目标对象的身份信息，包括：

将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到第一低分匹配结果，所述第一低分匹配结果表征所述低分检测框对应的位置信息是否匹配成功；

将所述外观特征和所述历史跟随轨迹对应的历史外观特征进行匹配，得到第二低分匹配结果，所述第二低分匹配结果表征所述低分检测框对应的外观特征是否匹配成功；

若所述第一低分匹配结果和所述第二低分匹配结果均为匹配成功，将匹配成功的位置信息的身份信息作为所述低分检测框对应的目标对象的身份信息。

19.根据权利要求18所述的方法，其特征在于，所述方法还包括：

获取目标跟随轨迹，所述目标跟随轨迹为未与所述高分检测框和所述低分检测框成功匹配的历史跟随轨迹；

保留所述目标跟随轨迹中的部分轨迹。

20.根据权利要求14所述的方法，其特征在于，根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随，包括：

将所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息和所述位置信息映射到所述深度图像，得到第一深度信息；

获取第二深度信息，所述第二深度信息为根据上一次采集的深度图像和待检测图像确定的深度信息；

根据所述第一深度信息和所述第二深度信息，得到所述目标对象的深度信息。

21.根据权利要求20所述的方法，其特征在于，所述根据所述第一深度信息和所述第二深度信息，得到所述目标对象的深度信息，包括：

若所述第一深度信息与所述第二深度信息的差值超过预设范围，将所述第一深度信息和所述第二深度信息的平均值作为所述目标对象的深度信息；

若所述第一深度信息与所述第二深度信息的差值未超过所述预设范围，将所述第一深度信息作为所述目标对象的深度信息。

22.根据权利要求14所述的方法，其特征在于，所述获取当前采集的待检测图像以及与所述待检测图像对应的深度图像，包括：

获取当前采集的原始待检测图像以及与所述原始待检测图像对应的深度图像；

将所述原始待检测图像和所述原始待检测图像对应的深度图像进行像素对齐，将对齐后的待检测图像和对齐后的深度图像作为所述待检测图像和所述深度图像。

23.根据权利要求14所述的方法，其特征在于，所述根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随，包括：

将所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息分别与预先确定的目标跟随对象的身份信息进行匹配，将匹配成功的身份信息对应的位置信息作为目标跟随对象的位置信息；

基于所述目标跟随对象的身份信息、位置信息和所述深度图像，得到所述目标跟随对象的深度信息，以基于所述目标跟随对象的深度信息、位置信息和身份信息对所述目标跟随对象进行跟随。

24.根据权利要求14-23任一所述的方法，其特征在于，所述深度图像由红外摄像头采集。

25.一种目标跟随装置，其特征在于，所述装置包括：

图像获取单元，用于获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；

目标对象信息获取单元，用于对所述待检测图像进行目标检测，以获取所包括的目标对象的位置信息以及外观特征；

身份信息获取单元，用于将所述外观特征和历史外观特征进行匹配，得到所述目标对象的身份信息，所述历史外观特征为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的外观特征；

深度信息获取单元，用于根据所述身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

26.一种目标跟随装置，其特征在于，所述装置包括：

图像获取单元，用于获取当前采集的待检测图像以及与所述待检测图像对应的深度图像；

检测框分类单元，用于若对所述待检测图像进行目标检测所得到的检测框有多个，将多个所述检测框划分为高分检测框以及低分检测框，其中，所述高分检测框中的内容为目标对象的概率，高于所述低分检测框中的内容为目标对象的概率，每个所述检测框对应有位置信息，所述位置信息表征所述检测框中所述目标对象的位置；

身份信息获取单元，用于若所述检测框有多个，将所述多个检测框各自对应的置信分数与预设分数进行比较，基于比较结果得到所述多个检测框各自对应的类别，所述类别包括高分检测框和低分检测框；将所述高分检测框对应的位置信息与预测位置信息进行匹配，得到所述高分框对应的目标对象的身份信息，所述预测位置信息基于历史跟随轨迹得到，所述历史跟随轨迹为根据历史采集的待检测图像以及深度图像获取到的具有身份信息的跟随轨迹；将所述低分检测框对应的位置信息与所述预测位置信息中未与所述高分检测框成功匹配的预测位置信息进行匹配，得到所述低分框对应的目标对象的身份信息；

深度信息获取单元，用于根据所述高分框对应的目标对象的身份信息、所述低分框对应的目标对象的身份信息、所述位置信息以及所述深度图像，得到所述目标对象的深度信息，以基于所述深度信息、所述位置信息和所述身份信息对所述目标对象进行跟随。

27.一种机器人，其特征在于，包括一个或多个处理器以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-24任一所述的方法。

28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行权利要求1-24任一所述的方法。