CN111815678A - 目标跟随方法、装置和电子设备 - Google Patents

Abstract

本发明公开了一种目标跟随方法、装置和电子设备。该跟随方法包括以下步骤：对周围环境进行图像采集；从所述采集的图像中识别目标对象，并对所述目标对象进行跟随；在跟随所述目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，则根据所述目标对象的第一特征信息，对所述目标对象的跟随进行纠偏。本发明实施例的跟随方法，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，能够根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，有利于及时消除跟随偏差，解决了现有技术中的长时间跟随过程中，跟随偏差越来越大的问题，提高了目标跟随的准确性。

Description

目标跟随方法、装置和电子设备

技术领域

本发明涉及跟随技术领域，特别涉及一种目标跟随方法、装置、电子设备和计算机可读存储介质。

背景技术

目前，许多场景下需要装置对特定目标进行跟随，例如，某些场景下机器人需要跟着特定人体移动，然而现有的跟随方法，在长时间对目标进行跟随后，跟随误差会越来越大，而且容易跟错目标，错误率高。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种目标跟随方法，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，能够根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，有利于及时消除跟随偏差，解决了现有技术中的长时间跟随过程中，跟随偏差越来越大的问题，提高了目标跟随的准确性。

本发明的第二个目的在于提出一种目标跟随装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达到上述目的，本发明第一方面实施例提出了一种目标跟随方法，包括以下步骤：对周围环境进行图像采集；从所述采集的图像中识别目标对象，并对所述目标对象进行跟随；在跟随所述目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，则根据所述目标对象的第一特征信息，对所述目标对象的跟随进行纠偏。

根据本发明实施例的方法，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，能够根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，有利于及时消除跟随偏差，解决了现有技术中的长时间跟随过程中，跟随偏差越来越大的问题，提高了目标跟随的准确性。

在本发明的一个实施例中，所述跟随过程中满足跟随纠偏的触发条件，包括：若所述目标对象的跟随过程中出现跟随偏差，则确定跟随过程满足所述触发条件；或者，若采集到的帧图像的数量达到预设的数量阈值，则确定跟随过程满足所述触发条件。

在本发明的一个实施例中，根据如下方式确定所述目标对象的跟随过程中出现跟随偏差：从当前帧图像中识别候选对象，并获取所述候选对象和所述目标对象之间的第一相似度，若所述第一相似度小于第一相似度阈值，则确定所述目标对象的跟随过程中出现跟随偏差；或者

获取所述目标对象的第一深度信息和所述候选对象的第二深度信息，若所述第一深度信息和所述第二深度信息的第一偏差量大于设定偏差阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

在本发明的一个实施例中，所述方法还包括：若所述第一相似度大于或者等于所述第一相似度阈值，且所述第一偏差量小于或者等于所述设定偏差阈值，则根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

在本发明的一个实施例中，根据如下方式确定所述目标对象的跟随过程中出现跟随偏差：从当前帧图像中识别候选对象，获取所述候选对象的识别置信度，所述识别置信度用于表征所述候选对象与所述目标对象属于同一类对象的概率；获取所述候选对象和所述目标对象之间的第一相似度；若所述第一相似度小于第一相似度阈值，且所述识别置信度大于或者等于置信度阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

在本发明的一个实施例中，方法还包括：若所述第一相似度大于或者等于所述第一相似度阈值且所述识别置信度大于或者等于所述置信度阈值，根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

在本发明的一个实施例中，所述方法还包括：若所述识别置信度小于所述置信度阈值，则从采集到的下一帧图像中重新识别所述候选对象，并返回获取所述候选对象的识别置信度的步骤。

在本发明的一个实施例中，根据所述目标对象的第一特征信息，对所述目标对象的跟随进行纠偏，包括：对所述当前帧图像进行人物识别，以获取至少一个潜在对象；根据所述第一特征信息，从所述潜在对象中确定出与所述目标对象匹配的潜在对象，并将确定出的潜在对象作为所述目标对象进行跟随。

在本发明的一个实施例中，所述根据所述第一特征信息，从所述潜在对象中确定出与所述目标对象匹配的潜在对象，包括：获取所述潜在对象的第三特征信息；根据所述第一特征信息和所述第三特征信息，获取所述目标对象与所述潜在对象的第二相似度；选取所述第二相似度大于或者等于第二相似度阈值的所述潜在对象作为与所述目标对象匹配的潜在对象。

在本发明的一个实施例中，所述选取所述第二相似度大于或者等于第二相似度阈值的所述潜在对象作为与所述目标对象匹配的潜在对象之前，还包括：获取所述目标对象的第一深度信息和所述潜在对象的第三深度信息；获取所述第一深度信息与所述第三深度信息的第二偏差量；

所述选取所述第二相似度大于或者等于第二相似度阈值的所述潜在对象作为与所述目标对象匹配的潜在对象，包括：选取所述第二相似度大于或者等于第二相似度阈值、且所述第二偏差量小于或者等于设定偏差阈值的所述潜在对象作为与所述目标对象匹配的潜在对象。

在本发明的一个实施例中，方法还包括：如果所述第二相似度小于所述第二相似度阈值或所述第二偏差量大于所述设定偏差阈值，则重新采集图像并返回对所述当前帧图像进行人物识别，以获取至少一个潜在对象及后续的步骤。

在本发明的一个实施例中，方法还包括：如果设定时间内未检测到所述潜在对象或从所述潜在对象中未匹配到所述目标对象，确定所述目标对象丢失。

在本发明的一个实施例中，所述方法还包括：获取从帧图像中确定出的待比对对象的朝向信息；根据所述朝向信息，从所述目标对象的特征信息库中，选取与所述朝向信息匹配的用于进行比对的目标第一特征信息，将所述目标第一特征信息与所述待比对对象的第四特征信息进行比对，获取所述目标对象与所述待比对对象的相似度，其中，所述待对比对象为从采集的图像中识别出的候选对象或者潜在对象，所述相似度包括所述目标对象与候选对象之间的第一相似度，和/或所述目标对象与潜在对象之间的第二相似度。

在本发明的一个实施例中，所述方法还包括：若从所述候选对象或者所述潜在对象中确定出所述目标对象，则根据确定出的所述目标对象的当前朝向，从所述特征信息库中识别出与所述目标对象的当前朝向对应的特征信息，确定为待更新特征信息；基于确定出的所述目标对象当前的特征信息，对所述待更新特征信息进行更新。

在本发明的一个实施例中，从当前帧图像中识别候选对象，包括：获取所述目标对象在上一帧图像中的第一位置信息；根据所述第一位置信息，确定当前帧图像上的识别区域，在所述识别区域内进行人物识别，获取所述候选对象。

为达到上述目的，本发明第二方面实施例提出了一种目标跟随装置，包括：采集模块，用于对周围环境进行图像采集；跟随模块，用于从所述采集的图像中识别目标对象，并对所述目标对象进行跟随；纠偏模块，用于在跟随所述目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，则根据所述目标对象的第一特征信息，对所述目标对象的跟随进行纠偏。

本发明实施例的目标跟随装置，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，能够根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，有利于及时消除跟随偏差，解决了现有技术中的长时间跟随过程中，跟随偏差越来越大的问题，提高了目标跟随的准确性。

在本发明的一个实施例中，所述纠偏模块具体用于：若所述目标对象的跟随过程中出现跟随偏差，则确定跟随过程满足所述触发条件；或者，若采集到的帧图像的数量达到预设的数量阈值，则确定跟随过程满足所述触发条件。

在本发明的一个实施例中，所述纠偏模块具体用于：从当前帧图像中识别候选对象，并获取所述候选对象和所述目标对象之间的第一相似度；若所述第一相似度小于第一相似度阈值，则确定所述目标对象的跟随过程中出现跟随偏差；或者获取所述目标对象的第一深度信息和所述候选对象的第二深度信息；若所述第一深度信息和所述第二深度信息的第一偏差量大于设定偏差阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

在本发明的一个实施例中，所述跟随模块具体用于：若所述第一相似度大于或者等于所述第一相似度阈值，且所述第一偏差量小于或者等于所述设定偏差阈值，则根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

在本发明的一个实施例中，纠偏模块还用于：从当前帧图像中识别候选对象，获取所述候选对象的识别置信度，所述识别置信度用于表征所述候选对象与所述目标对象属于同一类对象的概率；获取所述候选对象和所述目标对象之间的第一相似度；若所述第一相似度小于第一相似度阈值，且所述识别置信度大于或者等于置信度阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

在本发明的一个实施例中，所述跟随模块还用于：若所述第一相似度大于或者等于所述第一相似度阈值，且所述识别置信度大于或者等于所述置信度阈值，则根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

在本发明的一个实施例中，所述纠偏模块还用于：若所述识别置信度小于所述置信度阈值，则从采集到的下一帧图像中重新识别所述候选对象，并返回获取所述候选对象的识别置信度的步骤。

在本发明的一个实施例中，所述纠偏模块具体用于：对所述当前帧图像进行人物识别，以获取至少一个潜在对象；根据所述第一特征信息，从所述潜在对象中确定出与所述目标对象匹配的潜在对象，并将确定出的潜在对象作为所述目标对象进行跟随。

在本发明的一个实施例中，所述纠偏模块具体用于：获取所述潜在对象的第三特征信息；根据所述第一特征信息和所述第三特征信息，获取所述目标对象与所述潜在对象的第二相似度；选取所述第二相似度大于或者等于第二相似度阈值的所述潜在对象作为与所述目标对象匹配的潜在对象。

在本发明的一个实施例中，所述纠偏模块具体用于：所述选取所述第二相似度大于或者等于第二相似度阈值的所述潜在对象作为与所述目标对象匹配的潜在对象之前，获取所述目标对象的第一深度信息和所述潜在对象的第三深度信息；获取所述第一深度信息与所述第三深度信息的第二偏差量；选取所述第二相似度大于或者等于第二相似度阈值、且所述第二偏差量小于或者等于设定偏差阈值的所述潜在对象作为与所述目标对象匹配的潜在对象。

在本发明的一个实施例中，所述纠偏模块还用于：如果所述第二相似度小于所述第二相似度阈值，或所述第二偏差量大于所述设定偏差阈值，则重新采集图像并返回对所述当前帧图像进行人物识别，以获取至少一个潜在对象及后续的步骤。

在本发明的一个实施例中，所述纠偏模块还用于：如果设定时间内未检测到所述潜在对象，或从所述潜在对象中未匹配到所述目标对象，则确定所述目标对象丢失。

在本发明的一个实施例中，所述目标跟随装置，还包括：获取模块，所述获取模块，用于：获取从帧图像中确定出的待比对对象的朝向信息；根据所述朝向信息，从所述目标对象的特征信息库中，选取与所述朝向信息匹配的用于进行比对的目标第一特征信息，将所述目标第一特征信息与所述待比对对象的第四特征信息进行比对，获取所述目标对象与所述待比对对象的相似度，其中，所述待对比对象为从采集的图像中识别出的候选对象或者潜在对象，所述相似度包括所述目标对象与候选对象之间的第一相似度，和/或所述目标对象与潜在对象之间的第二相似度。

在本发明的一个实施例中，所述目标跟随装置，还包括：更新模块，所述更新模块，用于：若从所述候选对象或者所述潜在对象中确定出所述目标对象，则根据确定出的所述目标对象的当前朝向，从所述特征信息库中识别出与所述目标对象的当前朝向对应的特征信息，确定为待更新特征信息；基于确定出的所述目标对象当前的特征信息，对所述待更新特征信息进行更新。

在本发明的一个实施例中，所述纠偏模块，具体用于：获取所述目标对象在上一帧图像中的第一位置信息；根据所述第一位置信息，确定当前帧图像上的识别区域，并在所述识别区域内进行人物识别，获取所述候选对象。

为达到上述目的，本发明第三方面实施例提出了一种电子设备，包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现本发明第一方面实施例所述的目标跟随方法。

本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，能够根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，有利于及时消除跟随偏差，解决了现有技术中的长时间跟随过程中，跟随偏差越来越大的问题，提高了目标跟随的准确性。

为达到上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的目标跟随方法。

本发明实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，能够根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，有利于及时消除跟随偏差，解决了现有技术中的长时间跟随过程中，跟随偏差越来越大的问题，提高了目标跟随的准确性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的目标跟随方法的流程图；

图2为根据本发明一个实施例的目标跟随方法中确定目标对象的跟随过程中出现跟随偏差的流程图；

图3为根据本发明另一个实施例的目标跟随方法中确定目标对象的跟随过程中出现跟随偏差的流程图；

图4为根据本发明另一个实施例的目标跟随方法中确定目标对象的跟随过程中出现跟随偏差的流程图；

图5为根据本发明一个实施例的目标跟随方法中对目标对象的跟随进行纠偏的流程图；

图6为根据本发明一个实施例的目标跟随方法中确定与目标对象匹配的潜在对象的流程图；

图7为根据本发明一个实施例的目标跟随方法中第一相似度、第二相似度的获取的流程图；

图8为根据本发明一个实施例的目标跟随方法中获取目标对象与待比对对象的相似度之后的流程图；

图9为根据本发明一个具体示例的目标跟随方法的流程图；

图10为根据本发明一个实施例的目标跟随装置的方框示意图；

图11为根据本发明另一个实施例的目标跟随装置的方框示意图；

图12为根据本发明一个实施例的电子设备的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面结合附图来描述本发明实施例的目标跟随方法、装置、电子设备和计算机可读存储介质。

图1为根据本发明一个实施例的目标跟随方法的流程图。

如图1所示，本发明实施例的目标跟随方法，包括以下步骤：

S101，对周围环境进行图像采集。

可选的，可通过执行跟随功能的智能设备上设置的摄像头对周围环境进行图像采集。例如，可通过2D摄像头采集周围环境的平面图像，还可通过3D摄像头采集周围环境的立体图像。其中，智能设备可以是机器人、无人机、监控设备、无人驾驶汽车等，本发明实施例中不对智能设备进行限定。

S102，从采集的图像中识别目标对象，并对目标对象进行跟随。

可以理解的是，不同类型的目标对象，对应的识别方法也应不同。可选的，可采用图像识别算法从采集的图像中识别目标对象，例如，目标对象为人物时，可采用reid(Person re-identification，行人重识别)算法对采集的图像进行识别，以识别人物。

可选的，对目标对象进行跟随，可包括采用目标跟踪算法对目标对象进行跟随。其中，目标跟踪算法可包括KCF算法、ECO算法等。

S103，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，则根据目标对象的第一特征信息，对目标对象的跟随进行纠偏。

其中，满足跟随纠偏的触发条件可根据实际情况进行标定。

可以理解的是，不同类型的目标对象，对应的第一特征信息也不同。例如，若目标对象为车辆，则第一特征信息可包括但不限于车辆的颜色、车牌号、尺寸等信息中的至少一种；若目标对象为人物，则第一特征信息可包括但不限于目标对象的人脸信息、人体信息、朝向信息等中的至少一种。

本发明实施例中，人脸信息可包括人脸器官的形状，人脸特征点之间的距离、曲率、角度等几何关系，人脸图像经过变换之后得到的代数特征等中的至少一种。可选的，人脸特征点可包括眼睛、鼻子、嘴、下巴等器官。

本发明实施例中，人体信息可包括人体特征点之间的距离、角度等几何关系，人体动作姿态，衣物信息，人体图像经过变换之后得到的代数特征等中的至少一种。其中，人体特征点可包括头顶、颈部、肩部、四肢主要关节部位等。

应说明的是，在采集人脸信息时，可采集到不同朝向时的人脸信息，例如，可采集到正面、侧面、背面的人脸信息，由于不同朝向时的人脸信息之间可能会有差别，可将人脸信息按照对应的朝向信息进行划分。在采集人体信息时，可采集到不同朝向时的人体信息，例如，可采集到正面、侧面、背面的人体信息，由于不同朝向时的人体信息之间可能会有差别，可将人体信息按照对应的朝向信息进行划分。

可选的，可通过摄像头采集周围环境的图像，通过对图像的识别可得到目标对象的第一特征信息。例如，目标对象为人物时，可采用reid算法对获取的周围环境的图像进行识别，以得到人脸信息、人体信息、朝向信息等。

可选的，根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，可包括根据目标对象的第一特征信息，在采集的下一帧图像中识别出目标对象，根据重新识别出的目标对象的位置调整智能设备的朝向以继续对目标对象进行跟随。例如，根据重新识别出的目标对象的位置以及智能设备当前的位置和姿态，调整智能设备(例如转动底盘)，以使智能设备朝向重新识别出的目标对象，从而继续对目标对象进行跟随。

作为另一种可能的实施方式，在跟随目标对象的过程中，若跟随过程中不满足跟随纠偏的触发条件，则不需要对目标对象的跟随进行纠偏处理，可返回对周围环境进行图像采集及其后续步骤。

综上，根据本发明实施例的目标跟随方法，在跟随目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，能够根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，有利于及时消除跟随偏差，解决了现有技术中的长时间跟随过程中，跟随偏差越来越大的问题，提高了目标跟随的准确性。

在上述实施例的基础上，步骤S103中跟随过程中满足跟随纠偏的触发条件，可包括以下两种可能的方式：

方式1、若采集到的帧图像的数量达到预设的数量阈值，则确定跟随过程满足触发条件。

在具体实施中，若采集到的帧图像的数量达到预设的数量阈值，说明此时智能设备已经跟随了目标对象一定时长了，在此期间发生跟随偏差的可能性较大，需要执行跟随纠偏处理，因此，可将采集到的帧图像的数量是否达到预设的数量阈值作为跟随过程是否执行纠偏处理的触发条件。其中，数量阈值可根据实际情况进行标定，例如，可标定为10。应说明的是，采集到的帧图像的数量达到预设的数量阈值之后，可将数量计数器清零重新计数。由此，该方法可在采集到的帧图像的数量达到数量阈值时，及时对跟随进行纠偏。

例如，预设的数量阈值可以为10的倍数，即当采集到的帧图像的序号为10的倍数时，则确定跟随过程满足触发条件，例如第10帧时，第20帧时，第30帧时……，均会触发跟随纠偏处理。由此，该方法可间隔固定帧数，及时对跟随进行纠偏。

方式2、若目标对象的跟随过程中出现跟随偏差，则确定跟随过程满足触发条件。其中，若目标对象的跟随过程中出现跟随偏差，可包括当前未检索到任何对象，以及当前跟随到的对象非目标对象的情况。

作为第一种可能的实施方式，如图2所示，可根据如下方式确定目标对象的跟随过程中出现跟随偏差：

S201，从当前帧图像中识别候选对象，并获取候选对象和目标对象之间的第一相似度。可以理解的是，可能同时存在多个候选对象。

可选的，从当前帧图像中识别候选对象，可包括获取目标对象在上一帧图像中的第一位置信息，并根据第一位置信息确定当前帧图像上的识别区域，并在识别区域内进行人物识别，以获取候选对象。其中，人物识别可包括人脸、和/或人体识别。

该方法可根据目标对象在上一帧图像中的第一位置信息，确定当前帧图像上的识别区域，只需在该识别区域内进行人物识别，以获取候选对象，不需要在当前帧图像上的所有区域内进行人物识别，有利于提高识别效率。

其中，根据第一位置信息确定当前帧图像上的识别区域，可包括在当前帧图像上识别第一位置信息的周围区域，作为识别区域。例如，可在当前帧图像上确定以第一位置信息为中心，大小为预设值的区域，将其作为识别区域，其中，预设值为识别区域的大小，可根据实际情况进行标定。

可选的，获取候选对象和目标对象之间的第一相似度，可包括获取候选对象的第二特征信息，并根据目标对象的第一特征信息、候选对象的第二特征信息，获取候选对象和目标对象之间的第一相似度。例如，可预先建立相似度模型，可将第一特征信息、第二特征信息输入到相似度模型中，以得到候选对象和目标对象之间的第一相似度。又如，可计算第一特征信息(即第一特征向量)和第二特征信息(即第二特征向量)之间的距离，例如欧氏距离等，以确定候选对象和目标对象之间的第一相似度。

S202，若第一相似度小于第一相似度阈值，则确定目标对象的跟随过程中出现跟随偏差。

可以理解的是，若第一相似度小于第一相似度阈值，说明目标对象和候选对象之间的相似度较低，此时可判断该候选对象非目标对象，跟随过程中出现跟随偏差，需要对跟随进行纠偏。

其中，第一相似度阈值可根据实际情况进行标定，例如，可标定为80％。

作为第二种可能的实施方式，如图3所示，还可根据如下方式确定目标对象的跟随过程中出现跟随偏差：

S301，获取目标对象的第一深度信息和候选对象的第二深度信息。

可选的，可获取目标对象在上一帧图像中的第一位置信息，根据第一位置信息获取第一深度信息，以及获取候选对象在当前帧图像中的第二位置信息，根据第二位置信息获取第二深度信息。

例如，可通过2D摄像头采集周围环境的平面图像，并获取候选对象在平面图像中的第二位置信息，还可通过3D摄像头采集候选对象的立体图像，该立体图像中携带每个像素点的深度信息，立体图像中的每个像素点与候选对象在平面图像中的像素点是一一对应的，则可根据像素点的第二位置信息，查询到在该第二位置信息上的像素点的深度信息即候选对象的第二深度信息。

S302，若第一深度信息和第二深度信息的第一偏差量大于设定偏差阈值，则确定目标对象的跟随过程中出现跟随偏差。

可以理解的是，若第一偏差量大于设定偏差阈值，说明第一偏差量较大，不符合目标对象的移动规律，此时可判断该候选对象非目标对象，跟随过程中出现跟随偏差，需要对跟随进行纠偏。其中，设定偏差阈值可根据实际情况进行标定，例如，可标定为0.1m。

例如，若目标对象为人物1，对人物1进行跟随的过程中，若人物2也出现在智能设备拍摄范围内，则有可能会跟随到人物2，假设当前跟随到人物2，且获取人物1的第一深度信息3m，以及获取人物2的第二深度信息1m，则可得到第一偏差量为2m，大于设定偏差阈值0.1m，表明该第一偏差量不符合人物的移动规律，则可判断当前跟随到的人物2非目标对象人物1，确定人物1的跟随过程中出现跟随偏差。由此，该方法可根据目标对象和候选对象的深度信息的偏差量确定是否出现跟随偏差。

本发明实施例中，在跟随所述目标对象的过程中，若第一相似度大于或者等于第一相似度阈值，且第一偏差量小于或者等于设定偏差阈值，说明目标对象和候选对象之间的相似度较高，且第一偏差量较小，符合目标对象的移动规律，此时可判断该候选对象为目标对象，跟随过程中未出现跟随偏差，则可根据候选对象在当前帧图像上的位置信息，继续对目标对象进行跟随。

作为第三种可能的实施方式，如图4所示，还可根据如下方式确定目标对象的跟随过程中出现跟随偏差：

S401，从当前帧图像中识别候选对象，获取候选对象的识别置信度，识别置信度用于表征候选对象与目标对象属于同一类对象的概率。

可选的，识别置信度可通过图像识别算法来获取。可以理解的是，采用图像识别算法从当前帧图像中识别候选对象时，还会输出该候选对象的识别置信度，用于表征候选对象与目标对象属于同一类对象的概率。

S402，获取候选对象和目标对象之间的第一相似度。其中，关于S402中第一相似度的具体介绍可参见上述实施例中相关内容的记载，此处不再赘述。

S403，若第一相似度小于第一相似度阈值，且识别置信度大于或者等于置信度阈值，则确定目标对象的跟随过程中出现跟随偏差。

可以理解的是，若第一相似度小于第一相似度阈值，说明目标对象和候选对象之间的相似度较低，同时若识别置信度大于或者等于置信度阈值，说明候选对象与目标对象属于同一类对象的概率较高，此时可判断该候选对象非目标对象，跟随过程中出现跟随偏差，需要对跟随进行纠偏。其中，置信度阈值可根据实际情况进行标定，例如，可标定为80％。

由此，该方法可根据目标对象和候选对象之间的相似度以及候选对象的识别置信度确定是否出现跟随偏差。

本发明实施例中，在跟随所述目标对象的过程中，若第一相似度大于或者等于第一相似度阈值，且识别置信度大于或者等于置信度阈值，说明目标对象和候选对象之间的相似度较高，且候选对象与目标对象属于同一类对象的概率较高，此时可判断该候选对象为目标对象，跟随过程中未出现跟随偏差，则可根据候选对象在当前帧图像上的位置信息，继续对目标对象进行跟随。

本发明实施例中，若识别置信度小于置信度阈值，说明候选对象与目标对象属于同一类对象的概率较低，此时可从采集到的下一帧图像中重新识别候选对象，并返回获取候选对象的识别置信度的步骤，以继续获取候选对象，进而确定目标对象的跟随过程中是否出现跟随偏差。

以上给出了跟随过程中满足跟随纠偏的触发条件的三种可能的实施方式，但本发明实施例并不限于上述三种方式，例如，还可以获取采集到的帧图像的序号和上一次触发纠偏的帧图像的序号之间的差值，若差值大于预设差值阈值，则确定跟随过程满足触发条件。其中，预设差值阈值可根据实际情况进行标定，例如，预设差值阈值可标定为10。

可以理解的是，若差值大于预设差值阈值，说明采集到的帧图像与上一次触发纠偏的帧图像之间间隔的帧数较多，在此期间发生跟随偏差的可能性较大，则可确定跟随过程满足触发条件。

在上述任一实施例的基础上，步骤S103中根据目标对象的第一特征信息，对目标对象的跟随进行纠偏，如图5所示，可包括：

S501，对当前帧图像进行人物识别，以获取至少一个潜在对象。

其中，关于S501中获取潜在对象的具体介绍可参见上述实施例中候选对象的相关内容的记载，此处不再赘述。

S502，根据第一特征信息，从潜在对象中确定出与目标对象匹配的潜在对象，并将确定出的潜在对象作为目标对象进行跟随。

可选的，将确定出的潜在对象作为目标对象进行跟随，可包括根据潜在对象在当前帧图像上的位置信息，继续对目标对象进行跟随。

由此，该方法可根据目标对象的第一特征信息，从潜在对象中确定出与目标对象匹配的潜在对象，并将确定出的潜在对象作为目标对象进行跟随，以实现对目标对象的跟随进行纠偏的目的。

在上述实施例的基础上，步骤S502中根据第一特征信息，从潜在对象中确定出与目标对象匹配的潜在对象，如图6所示，可包括：

S601，获取潜在对象的第三特征信息。

S602，根据第一特征信息和第三特征信息，获取目标对象与潜在对象的第二相似度。

其中，关于S601中的第三特征信息与上述实施例中的第一特征信息、第二特征信息类似，S602中的第二相似度与上述实施例中的第一相似度类似，具体介绍可参见上述实施例中相关内容的记载，此处不再赘述。

S603，选取第二相似度大于或者等于第二相似度阈值的潜在对象作为与目标对象匹配的潜在对象。

可以理解的是，若第二相似度大于或者等于第二相似度阈值，说明目标对象和潜在对象之间的相似度较高，可将该潜在对象作为与目标对象匹配的潜在对象。其中，第二相似度阈值可根据实际情况进行标定，例如，可标定为80％。

由此，该方法可选取第二相似度大于或者等于第二相似度阈值的潜在对象作为与目标对象匹配的潜在对象，用于对目标对象的跟随进行纠偏。

可选的，步骤S603选取第二相似度大于或者等于第二相似度阈值的潜在对象作为与目标对象匹配的潜在对象之前，还可获取目标对象的第一深度信息和潜在对象的第三深度信息，并获取第一深度信息与第三深度信息的第二偏差量。进一步地，步骤S603选取第二相似度大于或者等于第二相似度阈值的潜在对象作为与目标对象匹配的潜在对象，还可包括：选取第二相似度大于或者等于第二相似度阈值、且第二偏差量小于或者等于设定偏差阈值的潜在对象作为与目标对象匹配的潜在对象。

可以理解的是，若第二相似度大于或者等于第二相似度阈值，说明目标对象和潜在对象之间的相似度较高，同时若第二偏差量小于或者等于设定偏差阈值，说明第二偏差量较小，符合目标对象的移动规律，此时可将该潜在对象作为与目标对象匹配的潜在对象。

由此，该方法可选取第二相似度大于或者等于第二相似度阈值、且第二偏差量小于或者等于设定偏差阈值的潜在对象作为与目标对象匹配的潜在对象，用于对目标对象的跟随进行纠偏。

可选的，如果第二相似度小于第二相似度阈值，或第二偏差量大于设定偏差阈值，说明目标对象和潜在对象之间的相似度较低，或第二偏差量较大，不符合目标对象的移动规律，此时可判断该候选对象非与目标对象匹配的潜在对象，可重新采集图像并返回对当前帧图像进行人物识别，以获取至少一个潜在对象及后续的步骤，以继续确定潜在对象。

可选的，如果设定时间内未检测到潜在对象，或从潜在对象中未匹配到目标对象，则无法对目标对象的跟随进行纠偏，可确定目标对象丢失。其中，设定时间可根据实际情况进行标定，例如，可标定为30s。

在上述实施例的基础上，第一相似度、第二相似度的获取，如图7所示，可包括：

S701，获取从帧图像中确定出的待比对对象的朝向信息。

以目标对象为人物为例，待比对对象的朝向信息可为人脸的朝向信息，可包括正面，背面，侧面等。

S702，根据朝向信息，从目标对象的特征信息库中，选取与朝向信息匹配的用于进行比对的目标第一特征信息，将目标第一特征信息与待比对对象的第四特征信息进行比对，获取目标对象与待比对对象的相似度。

其中，待对比对象为从采集的图像中识别出的候选对象和/或潜在对象。

相似度包括目标对象与候选对象之间的第一相似度，和/或目标对象与潜在对象之间的第二相似度。

其中，特征信息库用于存储目标对象的特征信息。可选的，在开始跟随目标对象之前，可采集目标对象的特征信息，并将目标对象的特征信息存储到目标对象的特征信息库中。

可选的，选取与朝向信息匹配的用于进行比对的目标第一特征信息，可优先选取朝向信息相同的特征信息，作为与朝向信息匹配的用于进行比对的目标第一特征信息。例如，若候选对象的朝向信息为侧向则可从目标对象的特征信息库中，选取侧向的特征信息，并将其作为目标第一特征信息，用于与候选对象的第二特征信息进行比对，以获取目标对象与候选对象之间的第一相似度。

由此，该方法可从目标对象的特征信息库中，选取与朝向信息匹配的用于进行比对的目标第一特征信息，用于获取目标对象与待比对对象的相似度，提高了相似度的准确性。

可选的，步骤S702中获取目标对象与待比对对象的相似度之后，如图8所示，还可包括：

S801，若从候选对象或者潜在对象中确定出目标对象，则根据确定出的目标对象的当前朝向，从特征信息库中识别出与目标对象的当前朝向对应的特征信息，确定为待更新特征信息。

例如，若确定出的目标对象的当前朝向为正向，则可将从特征信息库中识别出的正向的特征信息，确定为待更新特征信息。

S802，利用确定出的目标对象当前的特征信息对待更新特征信息进行更新。

可选的，利用确定出的目标对象当前的特征信息对待更新特征信息进行更新，可包括将待更新特征信息从特征信息库中删除，将确定出的目标对象当前的特征信息添加到特征信息库中，还可包括直接将待更新特征信息替换为确定出的目标对象当前的特征信息。

由此，该方法在从候选对象或者潜在对象中确定出目标对象之后，可利用确定出的目标对象当前的特征信息对特征信息库进行更新，使得特征信息库中的信息更贴近目标对象的当前状态，灵活性和准确性高。

为使本领域技术人员更清楚地了解本发明，图9为根据本发明一个具体示例的目标跟随方法的流程图，如图9所示，该方法可包括以下步骤：

S901，对周围环境进行图像采集。

S902，从采集的图像中识别目标对象，并对目标对象进行跟随。

S903，判断跟随过程中是否出现跟随偏差。

如果是，则执行步骤S906；如果否，则执行步骤S904。

S904，判断帧图像的数量是否达到预设的数量阈值。

如果是，则执行步骤S906；如果否，则执行步骤S905。

S905，继续对目标对象进行跟随。

S906，根据目标对象的第一特征信息，对目标对象的跟随进行纠偏。

S907，基于确定出的目标对象当前的特征信息，对待更新特征信息进行更新。

步骤的具体介绍参见上述实施例中相关内容的记载，此处不再赘述。

图10为根据本发明一个实施例的目标跟随装置的方框示意图。本发明实施例的目标跟随装置100，包括：采集模块11、跟随模块12、纠偏模块13。

采集模块11用于对周围环境进行图像采集。

跟随模块12用于从所述采集的图像中识别目标对象，并对所述目标对象进行跟随。

纠偏模块13用于在跟随所述目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，则根据所述目标对象的第一特征信息，对所述目标对象的跟随进行纠偏。

在本发明的一个实施例中，所述纠偏模块13具体用于若所述目标对象的跟随过程中出现跟随偏差，则确定跟随过程满足所述触发条件；或者，若采集到的帧图像的数量达到预设的数量阈值，则确定跟随过程满足所述触发条件。

在本发明的一个实施例中，所述纠偏模块13具体用于从当前帧图像中识别候选对象，并获取所述候选对象和所述目标对象之间的第一相似度；若所述第一相似度小于第一相似度阈值，则确定所述目标对象的跟随过程中出现跟随偏差；或者获取所述目标对象的第一深度信息和所述候选对象的第二深度信息；若所述第一深度信息和所述第二深度信息的第一偏差量大于设定偏差阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

在本发明的一个实施例中，所述跟随模块12具体用于若所述第一相似度大于或者等于所述第一相似度阈值，且所述第一偏差量小于或者等于所述设定偏差阈值，则根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

在本发明的一个实施例中，纠偏模块13还用于从当前帧图像中识别候选对象，获取所述候选对象的识别置信度，识别置信度用于表征所述候选对象与所述目标对象属于同一类对象的概率；获取所述候选对象和所述目标对象之间的第一相似度；若所述第一相似度小于第一相似度阈值，且所述识别置信度大于或者等于置信度阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

在本发明的一个实施例中，所述跟随模块12还用于若所述第一相似度大于或者等于所述第一相似度阈值，且所述识别置信度大于或者等于所述置信度阈值，则根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

在本发明的一个实施例中，所述纠偏模块13还用于若所述识别置信度小于所述置信度阈值，则从采集到的下一帧图像中重新识别所述候选对象，并返回获取所述候选对象的识别置信度的步骤。

在本发明的一个实施例中，所述纠偏模块13具体用于对所述当前帧图像进行人物识别，以获取至少一个潜在对象；根据所述第一特征信息，从所述潜在对象中确定出与所述目标对象匹配的潜在对象，并将确定出的潜在对象作为所述目标对象进行跟随。

在本发明的一个实施例中，所述纠偏模块13具体用于获取所述潜在对象的第三特征信息；根据所述第一特征信息和所述第三特征信息，获取所述目标对象与所述潜在对象的第二相似度；选取所述第二相似度大于或者等于第二相似度阈值的所述潜在对象作为与所述目标对象匹配的潜在对象。

在本发明的一个实施例中，所述纠偏模块13具体用于在选取所述第二相似度大于或者等于第二相似度阈值的所述潜在对象作为与所述目标对象匹配的潜在对象之前，获取所述目标对象的第一深度信息和所述潜在对象的第三深度信息；获取所述第一深度信息与所述第三深度信息的第二偏差量；选取所述第二相似度大于或者等于第二相似度阈值、且所述第二偏差量小于或者等于设定偏差阈值的所述潜在对象作为与所述目标对象匹配的潜在对象。

在本发明的一个实施例中，所述纠偏模块13还用于如果所述第二相似度小于所述第二相似度阈值，或所述第二偏差量大于所述设定偏差阈值，则重新采集图像并返回对所述当前帧图像进行人物识别，以获取至少一个潜在对象及后续的步骤。

在本发明的一个实施例中，所述纠偏模块13还用于如果设定时间内未检测到所述潜在对象，或从所述潜在对象中未匹配到所述目标对象，则确定所述目标对象丢失。

在本发明的一个实施例中，如图11所示，所述目标跟随装置100还包括：获取模块14，所述获取模块14用于获取从帧图像中确定出的待比对对象的朝向信息；根据所述朝向信息，从所述目标对象的特征信息库中，选取与所述朝向信息匹配的用于进行比对的目标第一特征信息，将所述目标第一特征信息与所述待比对对象的第四特征信息进行比对，获取所述目标对象与所述待比对对象的相似度，其中，所述待对比对象为从采集的图像中识别出的候选对象或者潜在对象，所述相似度包括所述目标对象与候选对象之间的第一相似度，和/或所述目标对象与潜在对象之间的第二相似度。

在本发明的一个实施例中，如图11所示，目标跟随装置100还包括：更新模块15，用于若从所述候选对象或者所述潜在对象中确定出所述目标对象，则根据确定出的所述目标对象的当前朝向，从所述特征信息库中识别出与所述目标对象的当前朝向对应的特征信息，确定为待更新特征信息；基于确定出的所述目标对象当前的特征信息，对所述待更新特征信息进行更新。

在本发明的一个实施例中，所述纠偏模块13具体用于获取所述目标对象在上一帧图像中的第一位置信息；根据所述第一位置信息，确定当前帧图像上的识别区域，并在所述识别区域内进行人物识别，获取所述候选对象。

需要说明的是，本发明实施例的目标跟随装置中未披露的细节，请参照本发明上述实施例中的目标跟随方法所披露的细节，这里不再赘述。

为了实现上述实施例，本发明还提出一种电子设备200，如图12所示，该电子设备200包括存储器21、处理器22。其中，处理器22通过读取存储器21中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现上述目标跟随方法。

为了实现上述实施例，本发明还提出一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述目标跟随方法。

此外，术语“第一”、“第二”、“第三”，仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种目标跟随方法，其特征在于，包括以下步骤：

对周围环境进行图像采集；

从所述采集的图像中识别目标对象，并对所述目标对象进行跟随；

在跟随所述目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，则根据所述目标对象的第一特征信息，对所述目标对象的跟随进行纠偏。

2.根据权利要求1所述的方法，其特征在于，所述跟随过程中满足跟随纠偏的触发条件，包括：

若所述目标对象的跟随过程中出现跟随偏差，则确定跟随过程满足所述触发条件；或者

若采集到的帧图像的数量达到预设的数量阈值，则确定跟随过程满足所述触发条件。

3.根据权利要求2所述的方法，其特征在于，根据如下方式确定所述目标对象的跟随过程中出现跟随偏差：

从当前帧图像中识别候选对象，并获取所述候选对象和所述目标对象之间的第一相似度；若所述第一相似度小于第一相似度阈值，则确定所述目标对象的跟随过程中出现跟随偏差；

或者

获取所述目标对象的第一深度信息和所述候选对象的第二深度信息；若所述第一深度信息和所述第二深度信息的第一偏差量大于设定偏差阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述第一相似度大于或者等于所述第一相似度阈值，且所述第一偏差量小于或者等于所述设定偏差阈值，则根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

5.根据权利要求2所述的方法，其特征在于，根据如下方式确定所述目标对象的跟随过程中出现跟随偏差：

从当前帧图像中识别候选对象，获取所述候选对象的识别置信度，所述识别置信度用于表征所述候选对象与所述目标对象属于同一类对象的概率；

获取所述候选对象和所述目标对象之间的第一相似度；

若所述第一相似度小于第一相似度阈值，且所述识别置信度大于或者等于置信度阈值，则确定所述目标对象的跟随过程中出现跟随偏差。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述第一相似度大于或者等于所述第一相似度阈值，且所述识别置信度大于或者等于所述置信度阈值，则根据所述候选对象在所述当前帧图像上的位置信息，继续对所述目标对象进行跟随。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述识别置信度小于所述置信度阈值，则从采集到的下一帧图像中重新识别所述候选对象，并返回获取所述候选对象的识别置信度的步骤。

8.一种目标跟随装置，其特征在于，包括：

采集模块，用于对周围环境进行图像采集；

跟随模块，用于从所述采集的图像中识别目标对象，并对所述目标对象进行跟随；

纠偏模块，用于在跟随所述目标对象的过程中，若跟随过程中满足跟随纠偏的触发条件，则根据所述目标对象的第一特征信息，对所述目标对象的跟随进行纠偏。

9.一种电子设备，其特征在于，包括存储器、处理器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一所述的目标跟随方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的目标跟随方法。

Images