CN106774301B - 一种避障跟随方法和电子设备 - Google Patents

Abstract

本发明实施例提供了一种避障跟随方法和电子设备，用于实现跟随运动中自动避免碰撞障碍物的技术效果。所述方法包括：基于图像采集单元获得的图像数据，确定要跟随的目标对象以及目标对象相对于图像采集单元的第一位置，进而控制图像采集单元转动，跟随目标对象。然后，通过获得目标对象相对于电子设备主体的第二位置，以及基于图像数据构建所处环境的障碍物地图，进而基于障碍物地图以及第二位置，控制驱动单元驱动电子设备主体跟随目标对象，并控制电子设备主体在跟随目标对象的过程中避开障碍物，由此解决了电子设备跟随目标对象碰撞障碍物。

Description

一种避障跟随方法和电子设备

技术领域

本发明涉及电子技术领域，尤其涉及一种避障跟随方法和电子设备。

背景技术

目前，现有技术中的部分电子设备，例如机器人、无人机或平衡车等，有的具备自动跟随目标对象的功能。但是，由于移动空间存在障碍物，所以电子设备移动过程中就有可能碰撞障碍物，导致设备损坏，或者被障碍物阻拦而无法继续跟随。

发明内容

本发明实施例提供了一种避障跟随方法和电子设备，用于实现跟随运动中自动避免碰撞障碍物的技术效果。

第一方面，本发明提供了一种避障跟随方法，包括：

应用于具有驱动单元的电子设备，所述驱动单元用于为所述电子设备提供驱动力以使得所述电子设备主体能够产生运动，所述电子设备还具有图像采集单元，所述图像采集单元设置于所述电子设备主体上，所述方法包括：

基于所述图像采集单元获得的图像数据，确定要跟随的目标对象以及所述目标对象相对于所述图像采集单元的第一位置，并根据预设的第一跟随策略生成第一控制指令，并执行所述第一控制指令；其中，所述第一控制指令用于控制所述图像采集单元的转动角度，使所述图像采集单元能够跟随所述目标对象；

获得所述目标对象相对于所述电子设备主体的第二位置；

基于所述图像数据，构建所述电子设备所处环境的障碍物地图；

基于所述障碍物地图以及所述第二位置，根据预设的第二跟随策略生成第二控制指令，并执行所述第二控制指令；其中，所述第二控制指令用于控制所述驱动单元驱动所述电子设备主体跟随所述目标对象，以及用于控制所述电子设备主体在跟随所述目标对象的过程中避开障碍物。

可选的，所述方法还包括：

获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

当所述偏角超过所述阈值时，基于所述偏角生成第三控制指令，并执行所述第三控制指令；所述第三控制指令用于控制所述电子设备主体在行进的过程中转动，以使所述电子设备主体与所述目标对象的距离收敛的同时，所述偏角也收敛。

可选的，所述方法还包括：

获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

当所述偏角超过所述阈值时，基于所述偏角生成第四控制指令，并执行所述第四控制指令；所述第四控制指令用于控制所述电子设备主体原地转动，以使所述电子设备主体与所述目标对象的偏角收敛。

可选的，基于所述图像数据，构建所述电子设备所处环境的障碍物地图，包括：

从所述图像数据中识别出多个对象，以及每个对象的位置；

根据所述目标对象的特征，从所述多个对象中去除所述目标对象，以及去除所述多个对象中的地面对象；

将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物；

基于所述障碍物位置构建所述障碍物地图。

可选的，在将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物之后，还包括：

利用超声波传感器对所述所处环境进行检测，获得表示检测到的补偿障碍物位置的检测结果；

基于所述检测结果和所述障碍物位置，确定出未能从所述图像数据中识别出的所述补偿障碍物，并将所述补偿障碍物也确定为所述障碍物。

可选的，基于所述障碍物位置构建所述障碍物地图，包括：

获得本次构建所述障碍物地图与前一次构建所述障碍物地图之间的所述电子设备主体发生的运动；

根据所述电子设备主体发生的运动，对每个所述障碍物位置和前一次构建的所述障碍物地图进行积分，构建本次所述障碍物地图。

可选的，在根据预设的第二跟随策略生成第二控制指令之前，还包括：

对所述目标对象和所述障碍物进行轨迹参数发生器PTG逆变换，将所述目标对象和所述障碍物变换到路径参数TP空间中；

在所述TP空间，基于接近图ND算法，获得多个PTG逆变换结果，每个所述PTG逆变换结果表示所述电子设备主体跟随所述目标对象可能发生的路径；

利用代价函数对所述多个PTG逆变换结果进行评价，从所述多个PTG逆变换结果中确定出最佳PTG逆变换结果；

对所述最佳PTG逆变换结果进行PTG变换，获得所述最佳PTG逆变换结果对应的目标角速度和目标线速度；所述目标角速度和所述目标线速度为所述驱动单元确定所述电子设备主体运动的角速度和线速度，所述目标角速度和所述目标线速度用于生成所述第二控制指令。

第二方面，本发明提供了一种电子设备，所述电子设备具有驱动单元，所述驱动单元用于为所述电子设备提供驱动力以使得所述电子设备主体能够产生运动，所述电子设备还具有图像采集单元，所述图像采集单元设置于所述电子设备主体上，所述电子设备还包括：

第一跟随模块，用于基于所述图像采集单元获得的图像数据，确定要跟随的目标对象以及所述目标对象相对于所述图像采集单元的第一位置，并根据预设的第一跟随策略生成第一控制指令，并执行所述第一控制指令；其中，所述第一控制指令用于控制所述图像采集单元的转动角度，使所述图像采集单元能够跟随所述目标对象；

第一获得模块，用于获得所述目标对象相对于所述电子设备主体的第二位置；

构建模块，用于基于所述图像数据，构建所述电子设备所处环境的障碍物地图；

第二跟随模块，用于基于所述障碍物地图以及所述第二位置，根据预设的第二跟随策略生成第二控制指令，并执行所述第二控制指令；其中，所述第二控制指令用于控制所述驱动单元驱动所述电子设备主体跟随所述目标对象，以及用于控制所述电子设备主体在跟随所述目标对象的过程中避开障碍物。

可选的，所述电子设备还包括：

判断模块，用于获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

转动模块，用于当所述偏角超过所述阈值时，基于所述偏角生成第三控制指令，并执行所述第三控制指令；所述第三控制指令用于控制所述电子设备主体在行进的过程中转动，以使所述电子设备主体与所述目标对象的距离收敛的同时，所述偏角也收敛。

可选的，所述电子设备还包括：

判断模块，用于获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

调整模块，用于当所述偏角超过所述阈值时，基于所述偏角生成第四控制指令，并执行所述第四控制指令；所述第四控制指令用于控制所述电子设备主体原地转动，以使所述电子设备主体与所述目标对象的偏角收敛。

可选的，所述构建模块用于从所述图像数据中识别出多个对象，以及每个对象的位置；根据所述目标对象的特征，从所述多个对象中去除所述目标对象，以及去除所述多个对象中的地面对象；将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物；基于所述障碍物位置构建所述障碍物地图。

可选的，所述电子设备还包括：

第二获得模块，用于在将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物之后，利用超声波传感器对所述所处环境进行检测，获得表示检测到的补偿障碍物位置的检测结果；

确定模块，用于基于所述检测结果和所述障碍物位置，确定出未能从所述图像数据中识别出的所述补偿障碍物，并将所述补偿障碍物也确定为所述障碍物。

可选的，所述构建模块用于获得本次构建所述障碍物地图与前一次构建所述障碍物地图之间的所述电子设备主体发生的运动；根据所述电子设备主体发生的运动，对每个所述障碍物位置和前一次构建的所述障碍物地图进行积分，构建本次所述障碍物地图。

可选的，所述电子设备还包括：

速度计算模块，用于在根据预设的第二跟随策略生成第二控制指令之前，对所述目标对象和所述障碍物进行轨迹参数发生器PTG逆变换，将所述目标对象和所述障碍物变换到路径参数TP空间中；在所述TP空间，基于接近图ND算法，获得多个PTG逆变换结果，每个所述PTG逆变换结果表示所述电子设备主体跟随所述目标对象可能发生的路径；利用代价函数对所述多个PTG逆变换结果进行评价，从所述多个PTG逆变换结果中确定出最佳PTG逆变换结果；对所述最佳PTG逆变换结果进行PTG变换，获得所述最佳PTG逆变换结果对应的目标角速度和目标线速度；所述目标角速度和所述目标线速度为所述驱动单元确定所述电子设备主体运动的角速度和线速度，所述目标角速度和所述目标线速度用于生成所述第二控制指令。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

在本发明实施例的技术方案中，首先基于图像采集单元获得的图像数据，确定要跟随的目标对象以及目标对象相对于图像采集单元的第一位置，进而控制图像采集单元转动，跟随目标对象。然后，通过获得目标对象相对于电子设备主体的第二位置，以及基于图像数据构建所处环境的障碍物地图，进而基于障碍物地图以及第二位置，控制驱动单元驱动电子设备主体跟随目标对象，并控制电子设备主体在跟随目标对象的过程中避开障碍物，由此解决了电子设备跟随目标对象碰撞障碍物，进而导致设备损坏，或者被障碍物阻拦而无法继续跟随的技术问题，实现了跟随目标对象，且避免碰撞障碍物的技术效果。

附图说明

图1为本发明实施例中避障跟随方法的流程图；

图2为本发明实施例中一示例性目标对象和目标对象区域；

图3为本发明实施例中一示例性目标对象、障碍物和电子设备俯视图；

图4为根据图3构建出的障碍物地图平面示意图；

图5为本发明实施例中一偏角示意图；

图6为本发明实施例中另一示例性障碍物地图；

图7为本发明实施例中电子设备的示意图。

具体实施方式

本发明实施例提供了一种避障跟随方法和电子设备，用于实现跟随运动中自动避免碰撞障碍物的技术效果。

为了解决上述技术问题，本发明提供的技术方案总体思路如下：

在本发明实施例的技术方案中，首先基于图像采集单元获得的图像数据，确定要跟随的目标对象以及目标对象相对于图像采集单元的第一位置，进而控制图像采集单元转动，跟随目标对象。然后，通过获得目标对象相对于电子设备主体的第二位置，以及基于图像数据构建所处环境的障碍物地图，进而基于障碍物地图以及第二位置，控制驱动单元驱动电子设备主体跟随目标对象，并控制电子设备主体在跟随目标对象的过程中避开障碍物，由此解决了电子设备跟随目标对象碰撞障碍物，进而导致设备损坏，或者被障碍物阻拦而无法继续跟随的技术问题，实现了跟随目标对象，且避免碰撞障碍物的技术效果。

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明第一方面提供了一种避障跟随方法，应用于一电子设备，例如平衡车或机器人等。电子设备具有驱动单元，驱动单元用于为电子设备提供驱动力，以使得电子设备主体能够产生运动。在具体实现过程中，驱动单元例如为电机或舵机等，本发明不做具体限制。本发明实施例中的电子设备还具有设置在电子设备主体上的图像采集单元。其中，图像采集单元的数量可以为一个，也可以为多个。且图像采集单元为多个时，每个图像采集单元的设置位置可以有所不同，本发明不做具体限制。

下面请参考图1，为本发明实施例避障跟随方法的流程图。该方法包括：

S101：基于所述图像采集单元获得的图像数据，确定要跟随的目标对象以及所述目标对象相对于所述图像采集单元的第一位置，并根据预设的第一跟随策略生成第一控制指令，并执行所述第一控制指令；

S102：获得所述目标对象相对于所述电子设备主体的第二位置；

S103：基于所述图像数据，构建所述电子设备所处环境的障碍物地图；

S104：基于所述障碍物地图以及所述第二位置，根据预设的第二跟随策略生成第二控制指令，并执行所述第二控制指令。

具体来讲，图像采集单元采集图像数据，在S101中，基于图像数据，确定目标对象以及目标对象与图像采集单元之间的第一位置。具体来讲，电子设备按照预先存储的目标对象特征，在图像数据中进行匹配，获得图像中每个对象与目标对象的匹配度。如果匹配度达到阈值，则确定识别出目标对象；反之，如果匹配度未达到阈值，则确定未识别出目标对象。

举例来说，假设目标对象为一用户，则预先将通用人体特征存储在电子设备中。电子设备在图像数据中进行匹配，并获得图像中每个对象与通用人体特征的匹配度。其中，一个对象与通用人体特征的匹配度为95％，达到阈值80％，而其他对象的匹配度均为达到80％，故确定识别到目标对象。

在识别到目标对象后，基于目标对象边缘，获得内接目标对象的矩形框，该矩形框为目标对象区域。图2示出的一示例性目标对象和目标对象区域。然后，计算出目标对象区域中第一参考点的位置，并将第一参考点位置确定为第一位置。在本发明实施例中，第一参考点例如为目标对象区域中心点，顶点，或者目标图像区域中的其他点，本发明不做具体限制。

当然，在具体实现过程中，如果有多个且不同类型的图像采集单元同时采集图像数据，例如RGB(Red Green Blue，红绿蓝)类型、深度图像类型和红外类型，则基于每个图像采集单元的图像数据确定出目标对象和第一位置之后，还可以进一步对各个目标对象和第一位置进行融合，从而得到更加准确的目标对象和第一位置。

然后，根据预设的第一跟随策略生成第一控制指令，并执行第一控制指令。具体来讲，第一跟随策略为图像采集单元朝向目标对象所在方向，跟随目标对象。第一控制指令用于控制图像采集单元的转动角度(如偏航角角度、俯仰角角度等)，使图像采集单元能够跟随目标对象。根据第一跟随策略生成第一控制指令，为根据第一位置控制图像采集单元的转动角度，以使图像采集单元能够跟随目标对象的移动而转动到目标对象所在方向。

举例来说，第一控制指令具体为控制图像采集单元的转动角度，使得采集图像平面中心与目标对象区域中心重合。所以，在确定目标对象与图像采集单元的第一位置后，基于第一位置与图像采集平面中心的偏差，确定出采集图像平面中心与目标对象区域中心再次重合的偏航角角度和/或俯仰角角度。进而，基于偏航角角度和/或俯仰角角度生成第一控制指令，并执行第一控制指令，使得图像采集单元转动该偏航角角度和/或俯仰角角度，完成转动后采集图像平面中心与目标对象区域中心再次重合。

接下来，S102中，获得目标对象相对于电子设备主体的第二位置。

具体来讲，在本发明实施例中，目标对象相对电子设备主体的第二位置，至少包括目标对象与电子设备主体之间的角度和距离。在本发明实施例中，获得第二位置的方式有多种，下面介绍其中三种。

第一种：

图像采集单元包括深度图像采集单元。电子设备基于深度图像采集单元采集的深度图像数据，识别出目标对象距离。进一步从深度图像数据，或者其他图像采集单元采集的图像数据中识别出目标对象的角度，进而获得第二位置。

第二种：

在电子设备设置锚节点装置，目标对象设置信标装置。锚节点和信标之间通过UWB(超带宽，Ultra-Wideband)进行通信。在通信过程中，根据锚节点的至少两根天线接收信标发送信号的时间差和相位差等，计算出锚节点与信标之间的距离和角度。进而，将锚节点与信标之间的距离和角度确定为第二位置。

第三种：

如果电子设备在室内跟随，则第三种方式为通过室内定位系统，定位出目标对象的室内位置，进而将室内定位系统发送的目标对象的室内位置确定为第二位置。

在具体实现过程中，本发明所属领域的普通技术人员可以根据实际选择上述三种中任一种，或者其他方式获得第二位置，本发明不做具体限制。

另外，本领域技术人员应当理解，尽管本发明将S101记载在S102之前，但在具体实现过程中，S102也可以在S101之前执行，甚至与S101同时执行。

接下来，在S103中，基于图像数据，构建电子设备所处环境的障碍物地图。

具体来讲，在本发明实施例中，构建障碍物地图所基于的图像数据，可以为S101中确定目标对象和第一位置所基于的图像数据。换言之，利用相同的一个图像采集单元，或者相同的多个图像采集单元采集图像数据，从图像数据中识别出目标对象，以及再识别出障碍物和障碍物位置，进而构建障碍物地图。

或者，构建障碍物地图所基于的图像数据，也可以不同于S101所基于的图像数据。换言之，利用至少两个不同的图像采集单元分别采集图像数据，从其中至少一组图像数据中识别出目标对象，以及从其余图像数据中识别障碍物和障碍物位置。

举例来说，在机器人头部设置GRB摄像头，在机器人身体正面设置深度摄像头，跟随过程中两个摄像头均处于图像采集状态。然后，机器人从RGB图像数据中识别目标对象和第一位置，从深度图像数据中识别障碍物和障碍物位置，然后基于障碍物位置构建障碍物地图。

类似地，本领域技术人员还应当理解，尽管本发明将S101和S102记载在S103之前，但在具体实现过程中，S101、S102和S103的执行顺序可以任意，甚至同时执行，本发明不做限制。

最后，在S104中，基于障碍物地图和第二位置，根据预设的第二跟随策略生成第二控制指令。

具体来讲，第二跟随策略为目标对象与电子设备主体的距离收敛，且避开碰撞障碍物。第二控制指令用于控制驱动单元驱动电子设备主体跟随目标对象，以及用于控制电子设备主体在跟随目标对象的过程中避开障碍物。根据第二跟随策略生成第二控制指令，为根据第二位置和障碍物位置，控制驱动单元驱动电子设备主体运动的线速度和角速度，以使电子设备避开障碍物跟随目标对象运动。

举例来说，请参考图3，为一示例性目标对象、障碍物和电子设备俯视图，图4为根据图3构建出的障碍物地图平面示意图。为方便说明，将目标对象用矩形也表示在图4的障碍物地图中。图4中的白色圆圈表示目标对象，黑色圆圈表示障碍物。

第二位置为(30°，3)，即目标对象与电子设备主体之间的角度为30°，距离为3米。障碍物位置为(5°，0.5)，即障碍物与电子设备主体之间的角度为5°，距离为0.5米。基于(30°，3)和(5°，0.5)，确定目标线速度和目标角速度，并基于目标线速度和目标角速度生成并执行第二控制指令。最终，电子设备跟随目标对象的运动轨迹如图3中曲线所示。

由上述描述可知，基于图像采集单元获得的图像数据，确定要跟随的目标对象以及目标对象相对于图像采集单元的第一位置，进而控制图像采集单元转动并朝向目标对象。然后，通过获得目标对象相对于电子设备主体的第二位置，以及基于图像数据构建所处环境的障碍物地图，进而基于障碍物地图以及第二位置，控制驱动单元驱动电子设备主体跟随目标对象，并控制电子设备主体在跟随目标对象的过程中避开障碍物，由此解决了电子设备跟随目标对象碰撞障碍物，进而导致设备损坏，或者被障碍物阻拦而无法继续跟随的技术问题，实现了跟随目标对象，且避免碰撞障碍物的技术效果。

进一步，对于电子设备图像采集单元与电子设备主体之间的协调，本发明实施例中有如下三种方式：

第一种：

获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

当所述偏角超过所述阈值时，基于所述偏角生成第三控制指令，并执行所述第三控制指令；所述第三控制指令用于控制所述电子设备主体在行进的过程中转动，以使所述电子设备主体与所述目标对象的距离收敛的同时，所述偏角也收敛。

具体来讲，首先获得图像采集单元相对于电子设备的偏角。在本发明实施例中，图像采集单元相对于电子设备的偏角，具体为图像采集单元的第一参考直线与电子设备主体第二参考直线之间的夹角。例如，请参考图5，第一参考线为图像采集单元光轴X1，第二参考线为电子设备主体平行于运动方向的轴X2，则图5中θ就是图像采集单元相对于电子设备的偏角。

接着，判断偏角是否超过阈值，当偏角超过阈值时，基于偏角生成第三控制指令，并执行第三控制指令。具体来讲，阈值例如为35°或60°等，本发明不做具体限制。第三控制指令用于控制电子设备主体在行进的过程中转动，以使电子设备主体与目标对象的距离收敛的同时，偏角也收敛。当偏角超过阈值时，在控制电子设备跟随目标对象的同时，控制驱动单元带到电子设备主体朝偏角收敛的方向旋转，也即边跟随边旋转。沿用图5中的例子，则控制驱动单元跟随的同时，带到电子设备主体逆时针旋转。

而偏角未超过阈值时，则可以控制驱动单元仅驱动电子设备主体跟随目标对象，而不旋转电子设备主体，也可以控制驱动单元驱动电子设备主体跟随目标对象的同时适当旋转电子设备主体，以使偏角不过过大。本发明所属领域的普通技术人员可以根据实际进行选择，本发明不做具体限制。

第二种：

在第二种实现方式中，可以获得图像采集单元相对于电子设备的偏角，与也可以不获得。但是，在第二种方式中，图像采集单元始终跟随目标对象，电子设备主体也始终跟随目标对象，但在偏角超过阈值时，不需要调整偏角收敛。

第三种：

获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

当所述偏角超过所述阈值时，基于所述偏角生成第四控制指令，并执行所述第四控制指令；所述第四控制指令用于控制所述电子设备主体原地转动，以使所述电子设备主体与所述目标对象的偏角收敛。

第三种方式中获得偏角的方式与第一种方式类似，此处就再重复赘述了。与第一种方式不同的时，当偏角超过阈值时，基于偏角生成第四控制指令，并执行第四控制指令。其中，第四控制指令用于控制电子设备主体原地转动，以使电子设备主体与目标对象的偏角收敛。

具体来讲，当偏角超过阈值时，将控制驱动单元带到电子设备主体原地旋转。原地旋转时，电子设备线速度为零，直到偏角收敛到阈值，再恢复不为零的线速度。

而偏角未超过阈值时，则可以控制驱动单元仅驱动电子设备主体跟随目标对象，而不旋转电子设备主体，也可以控制驱动单元驱动电子设备主体跟随目标对象的同时适当旋转电子设备主体，以使偏角不过过大。本发明所属领域的普通技术人员可以根据实际进行选择，本发明不做具体限制。

在具体实现过程中，本发明所属领域的普通技术人员可以选择上述方式中的任意一种，本发明不做具体限制。

接下来对如何基于图像数据构建障碍物地图进行详细介绍。在本发明实施例中，构建障碍物地图具体通过如下过程实现：

从所述图像数据中识别出多个对象，以及每个对象的位置；

根据所述目标对象的特征，从所述多个对象中去除所述目标对象，以及去除所述多个对象中的地面对象；

将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物；

基于所述障碍物位置构建所述障碍物地图。

具体来讲，首先从图像数据识别出多个对象，以及每个对象的位置。其中，对象可以为地面、天花板、桌子、椅子、箱子、盆栽、目标对象等。本发明实施例中，在构建障碍物地图时所基于的图像数据具体为深度图像数据，那么，对象的位置就具体为对象在所处环境空间中的三维位置。

为了避免电子设备将目标对象当成障碍物避开，根据预先设置的目标对象的特征，从多个对象中确定出目标对象，并从多个对象中去除目标对象。

另外，由于大地也被识别为对象，而大地并不需要避开，所以，进一步还需要去除地面对象。本发明实施例中的地面对象指的是地面、地板、斜坡等运动面对象。

具体来讲，由于无论电子设备怎样运动，地面对象的在垂直于运动面轴上的坐标只会发生较小的变化，甚至不发生变化。所以去除地面对象时，首先根据各个对象垂直于运动面轴上的坐标，提取出发生较小的变化，甚至不发生变化的对象，进而将这些对象作为地面对象去除。

在具体实现过程中，去除目标对象和地面对象的顺序不做限制。

去除目标对象和地面对象后的其他对象就确定为障碍物。然后，根据每个障碍物的三维位置，构建出障碍物地图。在本发明实施例中，如图6示出的另一示例性障碍物地图。在图6所示的障碍物地图中，以黑色表示障碍物，那么电子设备在跟随时，避开黑色区域，从而实现避障跟随。

进一步，由于图像数据可以无法体现出某些障碍物，例如玻璃，或者黑色物体，所以为了进一步从所处环境中识别出障碍物，作为一种可选的实施例，在去除地面对象和目标对象后，还包括：

利用超声波传感器对所述所处环境进行检测，获得表示检测到的补偿障碍物位置的检测结果；

基于所述检测结果和所述障碍物位置，确定出未能从所述图像数据中识别出的补偿障碍物，并将所述补偿障碍物也确定为所述障碍物。

具体来讲，本发明实施例中的电子设备主体上设置有超声波传感器，用于向外发送超声波，并接收返回的超声波。在需要构建障碍物地图时，启动超声波传感器向外发送超声波，超声波遇到所处环境中的障碍物会返回，且障碍物位置的不同，返回超声波的入射角度有所不同。所以，超声波传感器接收返回的超声波时，读取返回超声波的入射角度，然后获得检测结果。在本发明实施例中，将超声波传感器检测到的障碍物称为补偿障碍物，检测结果表示补偿障碍物的位置。

由于超声波遇到大部分障碍物都会返回，所以补偿障碍物中包括基于图像数据识别出障碍物。所以，基于检测结果计算出各个补偿障碍物的位置，然后对比前述从图像数据中识别出的障碍物位置，如果补偿障碍物位置与障碍物位置不一致，则表示该位置不一致的补偿障碍物从图像数据中并没有被识别出，进而将该补偿障碍物也确定为障碍物。

由此，基于所有障碍物位置，构建出更加精确的障碍物地图。

由上述描述可以看出，利用超声波传感器对所处环境进行检测，获得检测结果，并基于检测结果确定出从图像数据中未能识别出的补偿障碍物，补充电子设备确定出的障碍物，使得由此构建的障碍物地图更加精确和全面。

作为一种可选的实施例，基于障碍物位置构建障碍物地图具体通过如下过程实现：

获得本次构建所述障碍物地图与前一次构建所述障碍物地图之间的所述电子设备主体发生的运动；

根据所述电子设备主体发生的运动，对每个所述障碍物位置和前一次构建的所述障碍物地图进行积分，构建本次所述障碍物地图。

具体来讲，在本发明实施例中，跟随目标对象转动的图像采集单元和构建障碍物地图的图像采集单元为同一图像采集单元。如果图像采集单元与电子设备主体的偏角较大，以致图像采集范围中已不包括跟随前方范围时，为了避免跟随过程中碰撞障碍物，首先需要获得构建本次障碍物地图与前一次构建障碍物地图之间电子设备主体发生的运动。

具体来讲，电子设备包括IMU(惯性检测单元，Inertial measurement unit)。电子设备读取IMU在本次构建障碍物地图和前一次构建障碍物地图之间检测到的运动参数，基于IMU动力学方程式，计算出电子设备主体发生的运动。本发明实施例中，电子设备主体发生的运动指的是电子设备主体发生的旋转和位移。

然后，根据电子设备发生的运动，确定将前一次构建障碍物地图所参考的三维坐标系转换到与构建本次障碍物地图所参考的三维坐标系一致，从而使得前一次构建的障碍物地图能够与本次构建障碍物地图采集的图像数据匹配。

然后，对本次检测到的障碍物位置和前一次构建的障碍物地图进行积分，将本次构建障碍物地图识别出的障碍物位置与前一次构建的障碍物地图融合在一起，获得覆盖范围大于当前图像采集范围的障碍物地图。

由此可见，如果图像采集单元与电子设备主体的偏角较大，且图像采集范围中已不包括跟随前方范围时，由于障碍物地图所覆盖的范围大于图像采集范围，所以电子设备基于障碍物地图依然可以确定跟随前方是否有障碍物，以及障碍物具体的位置，从而避开障碍物。

作为一种可选的实施，在根据第二跟随策略生成第二控制指令之前，还包括：

对所述目标对象和所述障碍物进行轨迹参数发生器PTG逆变换，将所述目标对象和所述障碍物变换到路径参数TP空间中；

在所述TP空间，基于接近图ND算法，获得多个PTG逆变换结果，每个所述PTG逆变换结果表示所述电子设备主体跟随所述目标对象可能发生的路径；

利用代价函数对所述多个PTG逆变换结果进行评价，从所述多个PTG逆变换结果中确定出最佳PTG逆变换结果；

对所述最佳PTG逆变换结果进行PTG变换，获得所述最佳PTG逆变换结果对应的目标角速度和目标线速度；所述目标角速度和所述目标线速度为所述驱动单元确定所述电子设备主体运动的角速度和线速度，所述目标角速度和所述目标线速度用于生成所述第二控制指令。

具体来讲，首先对目标对象和障碍物地图中的各个障碍物进行PTG(轨迹参数发生器，Parameter Trajectory Generator)逆变换，进而将目标对象和各个障碍物都变换到TP(路径参数，Trajectory Parameter)空间中。然后，在TP空间，基于ND(接近图，NearnessDiagram)算法，计算出多个PTG逆变换结果。在本发明实施例中，PTG逆变换结果表示电子设备主体从当前位置接近目标对象，且避开障碍物可能发生的路径。

接下来，将每个PTG逆变换结果输入代价函数，进而得到每个PTG逆变换结果的分数。通过每个PTG逆变换结果对应的分数评价每条路径的优选性。最终，将分数最高的PTG逆变换结果确定为最佳PTG逆变换结果。

最后，将最佳PTG逆变换结果再进行PTG变换。PTG逆变换结果经过PTG变换后获得的结果为目标角速度和目标线速度。目标角速度和目标线速度具体为发生最佳PTG逆变换结果表示的路径所需要的角速度和线速度。所以，电子设备基于目标角速度和目标线速度控制驱动单元，使得驱动单元驱动电子设备主体的角速度和线速度为目标角速度和目标线速度，从而按照最佳PTG逆变换结果表示的路径跟随对象。

基于与前述实施例中避障跟随的方法同样的发明构思，本发明第二方面还提供一种电子设备。具体来讲，本发明实施例中的电子设备具有驱动单元，驱动单元用于为电子设备提供驱动力以使得电子设备主体能够产生运动。电子设备还具有图像采集单元，图像采集单元设置于电子设备主体上。如图7所示，电子设备还包括：

第一跟随模块101，用于基于所述图像采集单元获得的图像数据，确定要跟随的目标对象以及所述目标对象相对于所述图像采集单元的第一位置，并根据预设的第一跟随策略生成第一控制指令，并执行所述第一控制指令；其中，所述第一控制指令用于控制所述图像采集单元的转动角度，使所述图像采集单元能够跟随所述目标对象；

第一获得模块102，用于获得所述目标对象相对于所述电子设备主体的第二位置；

构建模块103，用于基于所述图像数据，构建所述电子设备所处环境的障碍物地图；

第二跟随模块104，用于基于所述障碍物地图以及所述第二位置，根据预设的第二跟随策略生成第二控制指令，并执行所述第二控制指令；其中，所述第二控制指令用于控制所述驱动单元驱动所述电子设备主体跟随所述目标对象，以及用于控制所述电子设备主体在跟随所述目标对象的过程中避开障碍物。

可选的，电子设备还包括：

判断模块，用于获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

转动模块，用于当所述偏角超过所述阈值时，基于所述偏角生成第三控制指令，并执行所述第三控制指令；所述第三控制指令用于控制所述电子设备主体在行进的过程中转动，以使所述电子设备主体与所述目标对象的距离收敛的同时，所述偏角也收敛。

可选的，电子设备还包括：

判断模块，用于获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

调整模块，用于当所述偏角超过所述阈值时，基于所述偏角生成第四控制指令，并执行所述第四控制指令；所述第四控制指令用于控制所述电子设备主体原地转动，以使所述电子设备主体与所述目标对象的偏角收敛。

可选的，构建模块103用于从所述图像数据中识别出多个对象，以及每个对象的位置；根据所述目标对象的特征，从所述多个对象中去除所述目标对象，以及去除所述多个对象中的地面对象；将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物；基于所述障碍物位置构建所述障碍物地图。

可选的，电子设备还包括：

第二获得模块，用于在将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物之后，利用超声波传感器对所述所处环境进行检测，获得表示检测到的补偿障碍物位置的检测结果；

确定模块，用于基于所述检测结果和所述障碍物位置，确定出未能从所述图像数据中识别出的所述补偿障碍物，并将所述补偿障碍物也确定为所述障碍物。

可选的，构建模块103用于获得本次构建所述障碍物地图与前一次构建所述障碍物地图之间的所述电子设备主体发生的运动；根据所述电子设备主体发生的运动，对每个所述障碍物位置和前一次构建的所述障碍物地图进行积分，构建本次所述障碍物地图。

可选的，电子设备还包括：

速度计算模块，用于在根据预设的第二跟随策略生成第二控制指令之前，对所述目标对象和所述障碍物进行轨迹参数发生器PTG逆变换，将所述目标对象和所述障碍物变换到路径参数TP空间中；在所述TP空间，基于接近图ND算法，获得多个PTG逆变换结果，每个所述PTG逆变换结果表示所述电子设备主体跟随所述目标对象可能发生的路径；利用代价函数对所述多个PTG逆变换结果进行评价，从所述多个PTG逆变换结果中确定出最佳PTG逆变换结果；对所述最佳PTG逆变换结果进行PTG变换，获得所述最佳PTG逆变换结果对应的目标角速度和目标线速度；所述目标角速度和所述目标线速度为所述驱动单元确定所述电子设备主体运动的角速度和线速度，所述目标角速度和所述目标线速度用于生成所述第二控制指令。

前述图1-图6实施例中的避障跟随方法的各种变化方式和具体实例同样适用于本实施例的电子设备，通过前述对避障跟随方法的详细描述，本领域技术人员可以清楚的知道本实施例中电子设备的实施方法，所以为了说明书的简洁，在此不再详述。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

在本发明实施例的技术方案中，首先基于图像采集单元获得的图像数据，确定要跟随的目标对象以及目标对象相对于图像采集单元的第一位置，进而控制图像采集单元转动，跟随目标对象。然后，通过获得目标对象相对于电子设备主体的第二位置，以及基于图像数据构建所处环境的障碍物地图，进而基于障碍物地图以及第二位置，控制驱动单元驱动电子设备主体跟随目标对象，并控制电子设备主体在跟随目标对象的过程中避开障碍物，由此解决了电子设备跟随目标对象碰撞障碍物，进而导致设备损坏，或者被障碍物阻拦而无法继续跟随的技术问题，实现了跟随目标对象，且避免碰撞障碍物的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种避障跟随方法，其特征在于，应用于具有驱动单元的电子设备，所述驱动单元用于为所述电子设备提供驱动力以使得所述电子设备主体能够产生运动，所述电子设备还具有图像采集单元，所述图像采集单元设置于所述电子设备主体上，所述方法包括：

基于所述图像采集单元获得的图像数据，确定要跟随的目标对象以及所述目标对象相对于所述图像采集单元的第一位置，并根据预设的第一跟随策略生成第一控制指令，并执行所述第一控制指令；其中，所述第一控制指令用于控制所述图像采集单元的转动角度，使所述图像采集单元能够跟随所述目标对象；

获得所述目标对象相对于所述电子设备主体的第二位置；

基于所述图像数据，构建所述电子设备所处环境的障碍物地图；

基于所述障碍物地图以及所述第二位置，根据预设的第二跟随策略生成第二控制指令，并执行所述第二控制指令；其中，所述第二控制指令用于控制所述驱动单元驱动所述电子设备主体跟随所述目标对象，以及用于控制所述电子设备主体在跟随所述目标对象的过程中避开障碍物；

基于所述图像数据，构建所述电子设备所处环境的障碍物地图，包括：

从所述图像数据中识别出多个对象，以及每个对象的位置；

根据所述目标对象的特征，从所述多个对象中去除所述目标对象，以及去除所述多个对象中的地面对象；

将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物；

基于所述障碍物位置构建所述障碍物地图。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

当所述偏角超过所述阈值时，基于所述偏角生成第三控制指令，并执行所述第三控制指令；所述第三控制指令用于控制所述电子设备主体在行进的过程中转动，以使所述电子设备主体与所述目标对象的距离收敛的同时，所述偏角也收敛。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

当所述偏角超过所述阈值时，基于所述偏角生成第四控制指令，并执行所述第四控制指令；所述第四控制指令用于控制所述电子设备主体原地转动，以使所述电子设备主体与所述目标对象的偏角收敛。

4.如权利要求1所述的方法，其特征在于，在将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物之后，还包括：

利用超声波传感器对所述所处环境进行检测，获得表示检测到的补偿障碍物位置的检测结果；

基于所述检测结果和所述障碍物位置，确定出未能从所述图像数据中识别出的所述补偿障碍物，并将所述补偿障碍物也确定为所述障碍物。

5.如权利要求4所述的方法，其特征在于，基于所述障碍物位置构建所述障碍物地图，包括：

获得本次构建所述障碍物地图与前一次构建所述障碍物地图之间的所述电子设备主体发生的运动；

根据所述电子设备主体发生的运动，对每个所述障碍物位置和前一次构建的所述障碍物地图进行积分，构建本次所述障碍物地图。

6.如权利要求1所述的方法，其特征在于，在根据预设的第二跟随策略生成第二控制指令之前，还包括：

对所述目标对象和所述障碍物进行轨迹参数发生器PTG逆变换，将所述目标对象和所述障碍物变换到路径参数TP空间中；

在所述TP空间，基于接近图ND算法，获得多个PTG逆变换结果，每个所述PTG逆变换结果表示所述电子设备主体跟随所述目标对象可能发生的路径；

利用代价函数对所述多个PTG逆变换结果进行评价，从所述多个PTG逆变换结果中确定出最佳PTG逆变换结果；

对所述最佳PTG逆变换结果进行PTG变换，获得所述最佳PTG逆变换结果对应的目标角速度和目标线速度；所述目标角速度和所述目标线速度为所述驱动单元确定所述电子设备主体运动的角速度和线速度，所述目标角速度和所述目标线速度用于生成所述第二控制指令。

7.一种电子设备，其特征在于，所述电子设备具有驱动单元，所述驱动单元用于为所述电子设备提供驱动力以使得所述电子设备主体能够产生运动，所述电子设备还具有图像采集单元，所述图像采集单元设置于所述电子设备主体上，所述电子设备还包括：

第一跟随模块，用于基于所述图像采集单元获得的图像数据，确定要跟随的目标对象以及所述目标对象相对于所述图像采集单元的第一位置，并根据预设的第一跟随策略生成第一控制指令，并执行所述第一控制指令；其中，所述第一控制指令用于控制所述图像采集单元的转动角度，使所述图像采集单元能够跟随所述目标对象；

第一获得模块，用于获得所述目标对象相对于所述电子设备主体的第二位置；

构建模块，用于基于所述图像数据，构建所述电子设备所处环境的障碍物地图；

第二跟随模块，用于基于所述障碍物地图以及所述第二位置，根据预设的第二跟随策略生成第二控制指令，并执行所述第二控制指令；其中，所述第二控制指令用于控制所述驱动单元驱动所述电子设备主体跟随所述目标对象，以及用于控制所述电子设备主体在跟随所述目标对象的过程中避开障碍物；

所述构建模块用于从所述图像数据中识别出多个对象，以及每个对象的位置；根据所述目标对象的特征，从所述多个对象中去除所述目标对象，以及去除所述多个对象中的地面对象；将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物；基于所述障碍物位置构建所述障碍物地图。

8.如权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

判断模块，用于获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

转动模块，用于当所述偏角超过所述阈值时，基于所述偏角生成第三控制指令，并执行所述第三控制指令；所述第三控制指令用于控制所述电子设备主体在行进的过程中转动，以使所述电子设备主体与所述目标对象的距离收敛的同时，所述偏角也收敛。

9.如权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

判断模块，用于获得所述图像采集单元相对于所述电子设备主体的偏角，并判断所述偏角是否超过阈值；

调整模块，用于当所述偏角超过所述阈值时，基于所述偏角生成第四控制指令，并执行所述第四控制指令；所述第四控制指令用于控制所述电子设备主体原地转动，以使所述电子设备主体与所述目标对象的偏角收敛。

10.如权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

第二获得模块，用于在将去除所述目标对象和所述地面对象之后的所述对象确定为所述障碍物之后，利用超声波传感器对所述所处环境进行检测，获得表示检测到的补偿障碍物位置的检测结果；

确定模块，用于基于所述检测结果和所述障碍物位置，确定出未能从所述图像数据中识别出的所述补偿障碍物，并将所述补偿障碍物也确定为所述障碍物。

11.如权利要求10所述的电子设备，其特征在于，所述构建模块用于获得本次构建所述障碍物地图与前一次构建所述障碍物地图之间的所述电子设备主体发生的运动；根据所述电子设备主体发生的运动，对每个所述障碍物位置和前一次构建的所述障碍物地图进行积分，构建本次所述障碍物地图。

12.如权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

速度计算模块，用于在根据预设的第二跟随策略生成第二控制指令之前，对所述目标对象和所述障碍物进行轨迹参数发生器PTG逆变换，将所述目标对象和所述障碍物变换到路径参数TP空间中；在所述TP空间，基于接近图ND算法，获得多个PTG逆变换结果，每个所述PTG逆变换结果表示所述电子设备主体跟随所述目标对象可能发生的路径；利用代价函数对所述多个PTG逆变换结果进行评价，从所述多个PTG逆变换结果中确定出最佳PTG逆变换结果；对所述最佳PTG逆变换结果进行PTG变换，获得所述最佳PTG逆变换结果对应的目标角速度和目标线速度；所述目标角速度和所述目标线速度为所述驱动单元确定所述电子设备主体运动的角速度和线速度，所述目标角速度和所述目标线速度用于生成所述第二控制指令。

Images