CN112788238A - 用于机器人跟随的控制方法和装置 - Google Patents

Abstract

本公开提供了一种机器人跟随方法，该方法包括：机器人在跟随目标移动的过程中，执行以下操作：采集第一图像；基于第一图像，提取现跟随目标的第一人脸特征和第一身形特征，其中，第一身形特征包括身高与身体特定部位的尺寸之间的比例；比对第一人脸特征与第二人脸特征以及第一身形特征与第二身形特征是否一致，其中，第二人脸特征为原跟随目标的人脸特征，第二身形特征为原跟随目标的身形特征；以及响应于第一人脸特征与第二人脸特征不一致，和/或第一身形特征与第二身形特征不一致，调整跟随目标为原跟随目标。本公开还提供了一种定位方法、一种机器人、一种服务器、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。

Description

用于机器人跟随的控制方法和装置

技术领域

本公开涉及机器人技术领域，特别是涉及一种机器人跟随方法、一种定位方法、一种机器人、一种服务器、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。

背景技术

目前机器人智能跟随方式是通过由机器人对目标跟随物进行定位跟随，且通常采用人脸图像识别的方法，目标行进过程中背对移动机器人，无法一直实时采集到人脸图像，当同时有多人在机器人视野范围内时，也经常出现跟错和跟丢的问题。

发明内容

有鉴于此，本公开提供了一种机器人跟随方法、一种定位方法、一种机器人、一种服务器、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。

本公开的一个方面提供了一种机器人跟随方法，包括：上述机器人在跟随目标移动的过程中，执行以下操作：采集第一图像；基于上述第一图像，提取现跟随目标的第一人脸特征和第一身形特征，其中，上述第一身形特征包括身高与身体特定部位的尺寸之间的比例；比对上述第一人脸特征与第二人脸特征以及上述第一身形特征与第二身形特征是否一致，其中，上述第二人脸特征为原跟随目标的人脸特征，上述第二身形特征为上述原跟随目标的身形特征；以及响应于上述第一人脸特征与上述第二人脸特征不一致，和/或上述第一身形特征与上述第二身形特征不一致，调整跟随目标为上述原跟随目标。

可选地，上述调整跟随目标为上述原跟随目标，包括：向服务器发送预设指令，使得上述服务器基于上述预设指令获取上述原跟随目标的定位信息并将获取的定位信息发送至上述机器人，其中，上述预设指令用于表征目标跟错或跟丢；获取并基于上述服务器发送的定位信息，调整导航路径；以及按照调整后的导航路径，重新跟随上述原跟随目标移动。

可选地，上述调整跟随目标为上述原跟随目标，包括：向服务器发送预设指令，使得上述服务器基于上述预设指令获取上述原跟随目标的定位信息和移动方向并将获取的定位信息和移动方向发送至上述机器人，其中，上述预设指令用于表征目标跟错或跟丢；获取并基于上述服务器发送的定位信息和移动方向，调整导航路径；以及按照调整后的导航路径，重新跟随上述原跟随目标移动。

可选地，上述方法还包括：响应于上述第一人脸特征与上述第二人脸特征一致，且上述第一身形特征与上述第二身形特征也一致，确定上述现跟随目标与上述原跟随目标为同一目标，并继续跟随上述现跟随目标移动。

可选地，上述方法还包括：响应于提取到上述第一人脸特征和上述第一身形特征，执行上述比对上述第一人脸特征与第二人脸特征以及上述第一身形特征与第二身形特征是否一致的相关操作。

可选地，上述方法还包括：响应于提取不到上述第一人脸特征和/或上述第一身形特征，调整跟随目标为上述原跟随目标。

可选地，采集第一图像，包括：按照预设时钟周期采集上述第一图像。

本公开的一个方面提供了一种定位方法，用于对机器人的跟随目标进行定位，包括：响应于接收到上述机器人发送的预设指令，确定上述机器人在上一预设时钟周期跟对原跟随目标时上述原跟随目标所在的位置，其中，上述预设指令指示上述机器人在当前预设时钟周期已跟错或跟丢目标；确定安装在上述位置以及上述位置附近的至少一个图像采集设备；获取上述至少一个图像采集设备中的每个图像采集设备在预设时间段内采集的N帧图像，其中，上述预设时间段包括从上述上一预设时钟周期到当前时间之间的时间段；以及基于上述每个图像采集设备在预设时间段内采集的N帧图像，定位上述原跟随目标当前所在的位置并将与该位置对应的定位信息发送至上述机器人，使得上述机器人基于上述定位信息，调整跟随目标为上述原跟随目标。

可选地，上述定位方法还包括：基于上述每个图像采集设备在预设时间段内采集的N帧图像，确定上述原跟随目标当前的移动方向；将与上述移动方向对应的方向信息发送至上述机器人，使得上述机器人基于上述定位信息和上述方向信息，调整跟随目标为上述原跟随目标。

本公开的一个方面提供了一种机器人，包括：图像采集模块，用于使得上述机器人在跟随目标移动的过程中，采集第一图像；特征提取模块，用于基于上述第一图像，提取现跟随目标的第一人脸特征和第一身形特征，其中，上述第一身形特征包括身高与身体特定部位的尺寸之间的比例；特征比对模块，用于比对上述第一人脸特征与第二人脸特征以及上述第一身形特征与第二身形特征是否一致，其中，上述第二人脸特征为原跟随目标的人脸特征，上述第二身形特征为上述原跟随目标的身形特征；以及跟随目标调整模块，用于响应于上述第一人脸特征与上述第二人脸特征不一致，和/或上述第一身形特征与上述第二身形特征不一致，调整跟随目标为上述原跟随目标。

本公开的一个方面提供了一种服务器，用于对机器人的跟随目标进行定位，包括：位置确定模块，用于响应于接收到上述机器人发送的预设指令，确定上述机器人在上一预设时钟周期跟对原跟随目标时上述原跟随目标所在的位置，其中，上述预设指令指示上述机器人在当前预设时钟周期已跟错或跟丢目标；设备确定模块，用于确定安装在上述位置以及上述位置附近的至少一个图像采集设备；图像获取模块，用于获取上述至少一个图像采集设备中的每个图像采集设备在预设时间段内采集的N帧图像，其中，上述预设时间段包括从上述上一预设时钟周期到当前时间之间的时间段；以及目标定位模块，用于基于上述每个图像采集设备在预设时间段内采集的N帧图像，定位上述原跟随目标当前所在的位置并将与该位置对应的定位信息发送至上述机器人，使得上述机器人基于上述定位信息，调整跟随目标为上述原跟随目标。

本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现本公开实施例的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现本公开实施例的方法。

本公开的另一方面提供了一种计算机产品，上述计算机产品包括计算机程序，上述计算机程序在被处理器执行时用于实现本公开实施例的方法。

通过本公开的实施例，因为采用了通过人脸识别和身形识别双因素对跟随目标进行识别并跟随的技术手段，所以至少部分地克服了相关技术中利用单一的人脸识别无法准确地对目标进行跟随的技术问题。同时，利用身形特征进行识别，可以更加准确、全面地反映跟随目标的身形特征。从而使得机器人在跟随目标时，可以提高识别准确度，进而可以减少跟错和跟丢的情况发生。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的适于机器人跟随方法和机器人的系统架构；

图2示意性示出了根据本公开实施例的适于机器人跟随方法和机器人的应用场景；

图3示意性示出了根据本公开一实施例的适于机器人跟随方法的流程图；

图4a示意性示出了根据本公开一实施例的调整跟随目标为原跟随目标方法的流程图；

图4b示意性示出了根据本公开另一实施例的调整跟随目标为原跟随目标方法的流程图；

图5示意性示出了根据本公开一实施例的适于服务器对机器人的跟随目标进行定位的方法的流程图；

图6示意性示出了根据本公开另一实施例的适于服务器对机器人的跟随目标进行定位的方法的流程图；

图7示意性示出了机器人根据定位信息和方向信息进行路径规划的示意图；

图8示意性示出了根据本公开实施例的一种适于跟随方法的机器人的框图；

图9示意性示出了根据本公开实施例的一种适于对机器人的跟随目标进行定位的服务器的框图；以及

图10示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种机器人跟随方法以及能够应用该方法的装置。该方法包括：采集第一图像；基于上述第一图像，提取现跟随目标的第一人脸特征和第一身形特征，其中，上述第一身形特征包括身高与身体特定部位的尺寸之间的比例；比对上述第一人脸特征与第二人脸特征以及上述第一身形特征与第二身形特征是否一致，其中，上述第二人脸特征为原跟随目标的人脸特征，上述第二身形特征为所述原跟随目标的身形特征；以及响应于上述第一人脸特征与上述第二人脸特征不一致，和/或上述第一身形特征与上述第二身形特征不一致，调整跟随目标为上述原跟随目标。

图1示意性示出了根据本公开实施例的适于机器人跟随方法和机器人的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，该系统架构100包括：服务器101、机器人102以及图像采集设备103。

服务器101可以是提供各种服务的服务器或服务器集群。图像采集设备103可以是高清摄像头等设备。机器人和服务器以及服务器和图像采集设备之间通过网络通信。

机器人102可以将数据通过网络传输至服务器，例如机器人102可以将获取的跟随目标的位置信息发送至服务器101，服务器101将获取的位置信息存储并实时更新。又例如机器人102可以将跟错目标指令发送至服务器101，服务器101获取到指令后可以从图像采集设备103中获取图像，并基于获取的图像中原跟随目标的位置信息重新定位，然后将定位后的信息发送至机器人102。

应该理解，图1中的机器人、服务器以及图像采集设备的数目仅仅是示意性的。根据实际需要，还可以具有任意数目的机器人、服务器以及图像采集设备。

图2示意性示出了根据本公开实施例的适于机器人跟随方法和机器人的应用场景。

如图2所示，该应用场景200包括：跟随目标201、机器人202、图像采集设备203、204以及操作对象205。该应用场景200中X轴和Y轴所在的平面表示地面，Z轴与X轴以及Z轴与Y轴所在的平面表示两个墙面。

根据本公开的一个实施例，应用场景200可以是具有大面积室内空间的数据中心(又称机房)，在数据中心中可以有多个图像采集设备(如图像采集设备203和204)，例如安防高清摄像头。安防高清摄像头可以大角度旋转，因此可以随跟随目标201的移动旋转拍摄。另外，由于数据中心内的人员较少，所以安防摄像头可以清晰地拍摄到跟随目标201，由此服务器(图中未示意出)可以根据安防摄像头拍摄的图像更准确地提取出图像中跟随目标201的特征。

在应用场景200中，在跟随目标201进入数据中心之前，机器人202可以通过拍摄跟随目标201的图像，并基于拍摄的图像提取跟随目标201的初始特征并进行存储。在跟随目标201进入数据中心后，机器人202跟随该跟随目标201移动的过程中，机器人202可以每隔一段时间针对跟随目标201采集一次图像，并基于采集到的图像提取对应的特征，将最新提取的特征与上次或者初始特征进行比对，并根据比对结果执行相应操作。例如，比对结果为最新提取的特征与初始特征相同，机器人202继续跟随跟随目标201。或者比对结果为最新提取的特征与初始特征不相同，机器人202向服务器(图中未示意出)发送对象跟错或跟丢指令。

在此应用场景200中，机器人202发现跟随目标201进入到该跟随目标201无权进入的区域时可以进行报警提醒和驱离，起到安防作用。或者机器人202还可以在跟随过程中对跟随目标201进行录像，起到监督作用。或者机器人202还可以携带工具等以便跟随目标201使用。

需要注意的是，图2所示仅为可以应用本公开实施例的应用场景的示例，本公开实施例还可以应用于其他场景，例如，室内服务大厅等。

图3示意性示出了根据本公开一实施例的适于机器人跟随方法的流程图。如图3所示，该方法可以包括操作S310～S340。

在操作S310，采集第一图像。

在本操作中，机器人可以利用自身携带的摄像头如高清摄像头，对跟随目标进行拍摄，获得第一图像。

在操作S320，基于第一图像，提取跟随目标的第一人脸特征和第一身形特征。其中，该第一身形特征包括身高与身体特定部位的尺寸之间的比例。

在本操作中，机器人通过第一图像，提取跟随目标的第一人脸特征和第一身形特征。第一身形特征可以用一身体特定部位与另一身体特定部位的尺寸之比表示。身体特定部位可以包括但不仅限于：头、手臂、大腿、小腿、腰、脚等。因此，身形特征例如可以包括但不仅限于：腿长与头长之比，身高与腰宽之比，身高与手臂长之比等。其中，身体特定部位的尺寸可以用第一图像中该身体特定部位的长、宽、高等表示。

执行本操作，可以得到两种操作结果，一种是能够提取到人脸特征和身形特征；另一种是无法提取到人脸特征和身形特征。

进一步，在能够提取到人脸特征的情况下，又可以包括两种情况：一种是在跟对目标(即现跟随目标即为原跟随目标)的情况下，能够提取到原跟随目标的人脸特征和身形特征；另一种是在跟错目标(即现跟随目标即为除原跟随目标之外的其他目标)的情况下，能够提取到其他目标的人脸特征和身形特征，但无法提取到原跟随目标的人脸特征和身形特征。

进一步，无法提取到人脸特征和身形特征的情况，可以包括第一图像中没有拍到人脸或身体其他部位(例如第一图像中既没有拍到原跟随目标，也没有拍到其他目标人物)。或者还可以是机器人在拍摄第一图像的瞬间，该跟随目标速度过快，导致获取的第一图像中该跟随目标的脸部和身形模糊，从而无法获取上述人脸特征和身形特征。

在操作S330，比对第一人脸特征与第二人脸特征以及第一身形特征与第二身形特征是否一致。其中，第二人脸特征为预先采集的原跟随目标的人脸特征，第二身形特征为预先采集的原跟随目标的身形特征。

在本公开实施例中，第二人脸特征和第二身形特征都可以是针对原跟随目标预先采集并存储在机器人本地的人脸特征和身形特征。也可以是在开始跟随前，机器人对将要跟随的目标进行拍摄，通过拍摄的图像获取的人脸特征和身形特征。

在操作S340，响应于第一人脸特征与第二人脸特征不一致，和/或第一身形特征与第二身形特征不一致，调整跟随目标为原跟随目标。

在本操作中，当第一人脸特征和第二人脸特征不一致，且第一人身形特征和第二身形特征不一致时，则当前跟随的目标不是原跟随目标(即跟错目标)，需要调整跟随目标为原跟随目标。当第一人脸特征和第二人脸特征不一致且第一人身形特征和第二身形特征一致时；或者当第一人脸特征和第二人脸特征一致且第一人身形特征和第二身形特征不一致时，都说明不清楚当前跟随的目标是否为原跟随目标，同样需要调整跟随目标为原跟随目标。

通过本公开的实施例，由于采用了将跟随目标的第一人脸特征和第一身形特征分别与第二人脸特征和第二身形特征进行比对的方法，相比于单一的通过人脸识别进行跟随的方法，增加了身形特征识别，可以对跟随目标进行双因素识别，避免跟错，提高识别准确度。利用身体特定部位的尺寸之比提取身形特征，可以避免因拍摄角度不同，从图像中获取身体部位的尺寸存在较大误差，难以直接利用的间题。同时提取多个身形特征，可以更全面地反映图像中跟随目标的身形特征，使身形识别更加准确。

根据本公开的一个实施例，上述适于机器人跟随的方法还包括：响应于提取到第一人脸特征和所述第一身形特征，执行比对第一人脸特征与第二人脸特征以及第一身形特征与第二身形特征是否一致的相关操作。

在本公开实施例中，通过机器人拍摄的第一图像，提取第一人脸和第一身形特征，当能够从第一图像中提取出第一人脸和第一身形特征时，将提取出的第一人脸特征与第二人脸特征进行比对，以及将第一身形特征与第二身形特征进行比对。

根据本公开实施例，比对结果可以包括第一人脸特征与第二人脸特征一致且第一身形特征与第二身形特征一致。或者第一人脸特征与第二人脸特征不一致且第一身形特征与第二身形特征不一致。或者第一人脸特征与第二人脸特征不一致且但第一身形特征与第二身形特征一致。或者第一人脸特征与第二人脸特征一致但第一身形特征与第二身形特征不一致。

通过本公开的实施例，由于采用了当将最新提取的第一人脸特征和第一身形特征与预先存储的第二人脸特征和第二身形特征进行比对的方法，可以及时地确定当前跟随的目标是否为原跟随目标。

根据本公开的一实施例，上述适于机器人跟随的方法还包括：响应于第一人脸特征与所述第二人脸特征一致，且第一身形特征与第二身形特征也一致，确定现跟随目标与所述原跟随目标为同一目标，并继续跟随现跟随目标移动。

根据本公开实施例，只有当最新提取的人脸和身形特征(即第一人脸和身形特征)都与预先存储的人脸和身形特征(即第二人脸和身形特征)一致时，才能确定当前跟随的目标为原跟随目标，以及继续跟随该跟随目标移动。

根据本公开的实施例，机器人将移动后的位置信息和移动路径发送至服务器，以便服务器将该跟随目标的位置信息和机器人的移动路径进行存储。

通过本公开的实施例，由于采用了当人脸特征和身形特征都一致时，才确定当前跟随的目标为原跟随目标的方法，相比于通过单一识别方法进行跟随的方法，可以降低识别错误的概率。

根据本公开的一个实施例，上述适于机器人跟随的方法还包括：响应于提取不到第一人脸特征和/或第一身形特征，调整跟随目标为原跟随目标。

示例性的，机器人在拍摄第一图像的瞬间，该跟随目标为了躲避跟随，利用附近的障碍物，躲过了机器人的拍摄，进而导致机器人当前获取的第一图像中没有该跟随目标的身影。在此种情况下，需要调整跟随目标为原跟随目标。

又例如，机器人在拍摄第一图像的瞬间，该跟随目标突然加速移动，从而导致机器人当前获取的第一图像中该跟随目标的身影模糊，无法提取人脸和身形特征。也需要调整跟随目标为原跟随目标。

再例如，机器人在拍摄第一图像的瞬间，该跟随目标背对该机器人，从而导致机器人当前获取的第一图像中没有该跟随目标的脸部，无法提取人脸特征。此外，还存在其他无法从第一图像中提取到人脸和身形特征的情况，在此不做限制。

通过本公开的实施例，由于采用了当不能从第一图像中提取到第一人脸特征和/或第一身形特征时，执行调整跟随目标的方法，可以及时发现跟随中存在的问题，进而利用调整跟随目标的相关操作，使机器人能够快速地、重新进行跟随。

图4a示意性示出了根据本公开一实施例的调整跟随目标为原跟随目标方法的流程图。如图4a所示，该方法包括操作S410a～S430a。

在操作S410a，向服务器发送预设指令，使得服务器基于预设指令获取原跟随目标的定位信息并将获取的定位信息发送至机器人。其中，预设指令用于表征目标跟错或跟丢。

在本操作中，无法从第一图像中提取出第一人脸和第一身形特征即为跟丢的情况。从第一图像中提取出第一人脸与第二人脸不一致和/或第一身形特征和第二身形特征不一致即为跟错的情况，这两种情况下，都可以向服务器发送预设指令。

根据本公开实施例，服务器接收到预设指令，并响应于接收到该预设指令可以获取原跟随目标的最新定位信息，并将此信息发送至机器人。其中，服务器获取原跟随目标的最新定位信息的方法在下面实施例中会详细介绍，在此不再赘述。

在操作S420a，获取并基于服务器发送的定位信息，调整导航路径。

在本操作中，机器人根据获取的定位信息以及预先存储在本地的该区域的地图信息，规划导航路径，并根据规划的路径移动。

根据本公开的实施例，定位信息可以包括原跟随目标的位置信息。还可以包括原跟随目标当前位置附近的其他物体信息，例如，其他物体的名称、大小等信息。

在操作S430a，按照调整后的导航路径，重新跟随原跟随目标移动。

根据本公开的实施例，机器人按照调整后的导航路径移动至原跟随目标所在位置，同时，机器人还可以将移动后的位置信息和移动路径再次发送至服务器，以便服务器存储。

通过本公开的实施例，由于采用了当出现机器人跟错或跟丢的情况下，均向服务器发送预设指令，并根据服务器传回的定位信息调整导航路线，重新跟随目标移动的方法，可以保证机器人能够及时地从服务器端获得到跟随目标的最新定位信息，及时地重新跟随原跟随目标。

图4b示意性示出了根据本公开另一实施例的调整跟随目标为原跟随目标方法的流程图。如图4b所示，该方法包括操作S410b～S430b。

在操作S410b，向服务器发送预设指令，使得服务器基于预设指令获取原跟随目标的定位信息和移动方向并将获取的定位信息和移动方向发送至机器人，其中，预设指令用于表征目标跟错或跟丢。

在本操作中，服务器接收到预设指令，并响应于接收到该预设指令可以获取原跟随目标的最新定位信息和移动方向，并将此信息发送至机器人。其中，服务器获取原跟随目标的最新定位信息和移动方向的方法在下文中会详细介绍，在此不再赘述。

在操作S420b，获取并基于服务器发送的定位信息和移动方向，调整导航路径。

在本操作中，机器人根据获取的定位信息和原跟随目标的移动方向，以及预先存储在本地的该区域的地图信息，规划导航路径，并根据规划的路径移动。

根据本公开的实施例，原跟随目标的移动方向可以包括该跟随目标相对于机器人当前所在位置的相对移动方向。还可以包括该跟随目标相对于当前拍摄到该跟随目标的图像采集设备所在位置的相对移动方向。还可以包括该跟随目标相对于机器人预先存储的地图中的原点位置的相对移动方向。

在操作S430b，按照调整后的导航路径，重新跟随原跟随目标移动。

根据本公开的实施例，机器人按照调整后的导航路径移动至原跟随目标所在位置，同时，机器人还可以将移动后的位置信息和移动路径再次发送至服务器，以便服务器存储。

通过本公开的实施例，由于采用了当出现机器人跟错或跟丢的情况下，均向服务器发送预设指令，并根据服务器传回的定位信息和移动方向对机器人的行进轨道进行修正，从而重新跟随目标移动的方法，可以保证机器人能够及时地从服务器端获得到跟随目标的最新定位信息，及时地重新跟随跟随目标。相比于相关技术中，直接利用定位信息进行导航的方法，还可以通过目标的移动方向，对该目标最终位置进行预判，从而使路径更加准确。

根据本公开的实施例，上述适于机器人跟随的方法中，采集第一图像，包括：按照预设时钟周期采集第一图像。

根据本公开的实施例，采集第一图像可以包括每隔一个预设时钟周期对跟随目标进行一次拍摄，获得第一图像。

根据本公开的实施例，基于每个预设时钟周期内获得的第一图像，获取第一人脸特征和第一身形特征，并将第一人脸特征与第二人脸特征进行比对，以及将第一身形特征与第二身形特征进行比对。其中，第二人脸特征和第二身形特征可以是上一个预设时钟周期内获得的跟随目标的特征。

通过本公开的实施例，由于采用了每隔一个预设时钟周期便对当前跟随目标进行拍摄，并从图像中获取人脸特征和身形特征。通过将最新获得的人脸和身形特征与上一预设时钟周期的人脸和身形特征进行比对的方法，可以保证机器人在跟随过程中不断确定跟随目标是否正确，当发现跟随目标错误或丢失时，可以及时地上报服务器。

图5示意性示出了根据本公开一实施例的适于服务器对机器人的跟随目标进行定位的方法的流程图。如图5所示，该方法包括操作S510～S540。

在操作S510，响应于接收到机器人发送的预设指令，确定机器人在上一预设时钟周期跟对原跟随目标时原跟随目标所在的位置，其中，预设指令指示所述机器人在当前预设时钟周期已跟错或跟丢目标。

根据本公开实施例，机器人每隔一个预设时钟周期进行一次拍摄，当当前跟随的目标为原跟随目标时，继续跟随现跟随目标移动，并将此时(即当前预设时钟周期末)跟随目标的位置信息发送至服务器。

在本操作中，服务器接收到来自机器人发送的预设指令令表示在当前预设时钟周期末，机器人发现跟随目标跟错或丢失。

根据本公开实施例，响应于接收到该预设指令，服务器从本地存储的原跟随目标在每个周期内的位置信息中，获取该跟随目标上一预设时钟周期末位置信息。

在操作S520，确定安装在位置以及位置附近的至少一个图像采集设备。

根据本公开实施例，服务器通过原跟随目标在上一预设时钟周期末的位置信息，可以获取该位置以及该位置附近的至少一个图像采集设备。其中，图像采集设备可以包括但不仅限于高清摄像头等。

在操作S530，获取至少一个图像采集设备中的每个图像采集设备在预设时间段内采集的N帧图像，其中，所述时间段包括从上一预设时钟周期到当前时间之间的时间段。

根据本公开的实施例，获取每个图像采集设备在该预设时间段内的连续的N帧图像。

根据本公开的实施例，对从每个图像采集设备中获取的连续的N帧图像中每一帧图像执行以下操作：从该连续的N帧图像中的第一帧图像中提取第三人脸特征和第三身形特征。以及

响应于能够从第一帧图像中提取出第三人脸特征和第三身形特征，执行将第三人脸特征与第一人脸特征和/或第二人脸特征进行对比，以及将第三身形特征与第一身形特征和/或第二身形特征进行比对，并从下一帧图像中提取第三人脸特征和第三身形特征的操作。

响应于不能从图像中提取出第三人脸特征和第三身形特征，执行从下一帧图像中提取第三人脸特征和第三身形特征的操作。直至对连续的N帧图像中的最后一帧图像执行上述操作为止。

根据本公开的实施例，对上述操作的结果进行判断，从中选择最后一帧图像能够提取出第三人脸特征和第三身形特征，且第三人脸特征与第一人脸特征和/或第二人脸特征一致，且第三身形特征与第一身形特征和/或第二身形特征一致的图像所对应的图像采集设备作为目标图像采集设备。其中上述目标图像采集设备可以包括至少一个目标图像采集设备。

在操作S540，基于N帧图像，定位原跟随目标当前所在的位置并将与该位置对应的定位信息发送至机器人，使得机器人基于定位信息，调整跟随目标为原跟随目标，其中，N帧图像为目标图像采集设备在预设时间段内采集的N帧图像。

根据本公开的实施例，可以通过目标图像采集设备获取的N帧连续图像中的最后一帧图像获取原跟随目标所在的位置信息，并将包含该位置信息的定位信息发送至机器人。

通过本公开的实施例，由于采用了在机器人跟丢或跟错的情况下，通过图像采集设备获得原跟随目标的定位信息的方法，相比于相关技术中，通过由跟随目标携带定位装置并由跟随目标自己发送定位信息的方法，可以克服当跟随目标丢弃定位装置或不发送定位信息，而导致无法重新跟随的技术问题。

图6示意性示出了根据本公开另一实施例的适于服务器对机器人的跟随目标进行定位的方法的流程图。如图6所示，该方法除了包括图5中的操作S510～S530外，还包括S640～S650。

在操作S640，基于N帧图像，确定原跟随目标当前的移动方向，其中，上述N帧图像为目标图像采集设备在预设时间段内采集的N帧图像。

根据本公开的实施例，确定原跟随目标当前的移动方向可以根据上一预设时钟周期开始到当前预设时钟周期末之间的时间段确定；也可以根据上一预设时钟周期末到当前预设时钟周期末之间的时间段确定；或者也可以根据当前预设时钟周期末到当前时间之间的时间段确定。

根据本公开的实施例，可以从某一目标图像采集设备的连续N帧图像中，选择位于上述时间段内的连续M帧图像，并基于获取的该连续的M帧图像对原跟随目标的移动方向进行判断。

根据本公开的实施例，连续的M帧图像中原跟随目标的面积越来越大，则可以确定原跟随目标的移动方向为靠近该像采集设备。当原跟随目标的面积越来越小，则可以确定原跟随目标的移动方向为远离该图像采集设备。或者还可以通过面积的其他变化，确定原跟随目标的移动方向。

根据本公开的实施例，可以获取至少一个目标图像采集设备中每个目标图像采集设备所对应的原跟随目标的移动方向。并基于每个目标图像采集设备位置在当前地图中的位置信息和每个目标图像采集设备所对应的原跟随目标移动方向，确定原跟随目标最终的移动方向。

在操作S650，将与移动方向对应的方向信息发送至机器人，使得机器人基于定位信息和方向信息，调整跟随目标为原跟随目标。

根据本公开的实施例，可以预先在机器人本地中存储原跟随目标或者其他常见跟随目标的平均移动速度。例如，可以在机器人本地中存储一个成年男性的移动速度。

根据本公开的实施例，可以将原跟随目标最终的移动方向以及原跟随目标的移动速度发送至机器人。机器人可以根据原跟随目标的平均移动速度、机器人的移动速度、原跟随目标的定位信息，以及原跟随目标的移动方向规划行进路线。

示例性的，图7示意性示出了机器人根据定位信息和方向信息进行路径规划的示意图。

如图7所示，X轴和Y轴可以为机器人预先存储的地图信息中的X轴和Y轴。此外，可以假设机器人预先存储的原跟随目标行走的平均速率为1m/s，机器人的行走速率为1.5m/s。同时可以设定机器人当前所在的位置为A点，以及通过目标图像采集设备判断原跟随目标当前所在的位置为B点，并沿X轴正向移动。服务器将B点位置信息和原跟随目标沿X轴正向移动信息发送至机器人。机器人根据获取的信息、机器人当前所在位置以及存储在本地的原跟随目标行走的平均速率和机器人的行走速率推算出C点为机器人当前路径的最终位置。

机器人可以根据推算出的A点规划行进路线，该路线可以是直线行进达到A点。

此外，机器人还可以推算出多个最终位置，并基于该最终位置规划多条行进路线，并从多条行进路线中选择一条作为实际行进路线，选择条件可以是判断行进路线上是否有障碍物，道路是否平整、是否有楼梯等。

通过本公开的实施例，由于采用了由服务器发送原跟随目标的定位信息和方向信息的方法，可以使机器人在跟丢或跟错的情况下，能够在定位信息的基础上，基于原跟随目标的方向信息修正路线，达到重新跟上跟随目标的目的。

图8示意性示出了根据本公开实施例的一种适于跟随方法的机器人的框图。

如图8所示，适于跟随方法的机器人800包括：图像采集模块810、特征提取模块820、特征比对模块830和第一跟随目标调整模块840。该处理装置可以执行上面参考方法实施例部分描述的方法，在此不再赘述。

图像采集模块810，用于使得机器人在跟随目标移动的过程中，采集第一图像；特征提取模块820，用于基于第一图像，提取现跟随目标的第一人脸特征和第一身形特征，其中，第一身形特征包括身高与身体特定部位的尺寸之间的比例；特征比对模块830，用于比对第一人脸特征与第二人脸特征以及第一身形特征与第二身形特征是否一致，其中，第二人脸特征为原跟随目标的人脸特征，第二身形特征为原跟随目标的身形特征；以及第一跟随目标调整模块840，用于响应于第一人脸特征与第二人脸特征不一致，和/或第一身形特征与第二身形特征不一致，调整跟随目标为原跟随目标。

根据本公开的实施例，跟随目标调整模块840包括：第一发送子模块，用于向服务器发送预设指令，使得上述服务器基于上述预设指令获取上述原跟随目标的定位信息并将获取的定位信息发送至上述机器人，其中，上述预设指令用于表征目标跟错或跟丢；第一路径调整子模块，用于获取并基于上述服务器发送的定位信息，调整导航路径；以及第一移动跟随子模块，用于按照调整后的导航路径，重新跟随上述原跟随目标移动。

根据本公开的实施例，跟随目标调整模块840包括：第二发送子模块，用于向服务器发送预设指令，使得上述服务器基于上述预设指令获取上述原跟随目标的定位信息和移动方向并将获取的定位信息和移动方向发送至上述机器人，其中，上述预设指令用于表征目标跟错或跟丢；第二路径调整子模块，用于获取并基于上述服务器发送的定位信息和移动方向，调整导航路径；以及第二移动跟随子模块，用于按照调整后的导航路径，重新跟随上述原跟随目标移动。

根据本公开的实施例，上述机器人800还包括：目标确定模块，用于响应于上述第一人脸特征与上述第二人脸特征一致，且上述第一身形特征与上述第二身形特征也一致，确定上述现跟随目标与上述原跟随目标为同一目标；以及目标跟随模块，用于继续跟随上述现跟随目标移动。

根据本公开的实施例，上述机器人800还其中：执行模块，用于响应于提取到上述第一人脸特征和上述第一身形特征，执行上述比对上述第一人脸特征与第二人脸特征以及上述第一身形特征与第二身形特征是否一致的相关操作。

根据本公开的实施例，上述机器人800还包括：第二跟随目标调整模块，用于响应于提取不到上述第一人脸特征和/或上述第一身形特征，调整跟随目标为上述原跟随目标。

根据本公开的实施例，上述图像采集模块810包括：图像采集子模块，用于按照预设时钟周期采集上述第一图像。

需要说明的是，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，并且所达到的技术效果也对应类似，本公开在此不再赘述。

图9示意性示出了根据本公开实施例的一种适于对机器人的跟随目标进行定位的服务器的框图。

如图9所示，适于对机器人的跟随目标进行定位的服务器900包括：位置确定模块910、设备确定模块920、图像获取模块930和目标定位模块940。该处理装置可以执行上面参考方法实施例部分描述的方法，在此不再赘述。

位置确定模块910，用于响应于接收到机器人发送的预设指令，确定机器人在上一时钟周期跟对原跟随目标时原跟随目标所在的位置，其中，预设指令指示机器人在当前时钟周期已跟错或跟丢目标；设备确定模块920，用于确定安装在位置以及位置附近的至少一个图像采集设备；图像获取模块930，用于获取至少一个图像采集设备中的每个图像采集设备在预设时间段内采集的N帧图像，其中，预设时间段包括从上一时钟周期到当前时间之间的时间段；以及目标定位模块940，用于基于每个图像采集设备在预设时间段内采集的N帧图像，定位原跟随目标当前所在的位置并将与该位置对应的定位信息发送至机器人，使得机器人基于定位信息，调整跟随目标为原跟随目标。

根据本公开的实施例，上述服务器900还包括：确定移动方向模块，用于基于上述每个图像采集设备在预设时间段内采集的N帧图像，确定上述原跟随目标当前的移动方向；方向信息发送模块，用于将与上述移动方向对应的方向信息发送至上述机器人，使得上述机器人基于上述定位信息和上述方向信息，调整跟随目标为上述原跟随目标。

需要说明的是，本公开装置部分的实施例方式与本公开方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。

根据本公开的实施例的模块、子模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，位置确定模块910、设备确定模块920、图像获取模块930和目标定位模块940中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，位置确定模块910、设备确定模块920、图像获取模块930和目标定位模块940中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，位置确定模块910、设备确定模块920、图像获取模块930和目标定位模块940中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图10示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000包括处理器1010、计算机可读存储介质1020。该电子设备1000可以执行根据本公开实施例的方法。

具体地，处理器1010例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1010还可以包括用于缓存用途的板载存储器。处理器1010可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质1020，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质1020可以包括计算机程序1021，该计算机程序1021可以包括代码/计算机可执行指令，其在由处理器1010执行时使得处理器1010执行根据本公开实施例的方法或其任何变形。

计算机程序1021可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序1021中的代码可以包括一个或多个程序模块，例如包括1021A、模块1021B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1010执行时，使得处理器1010可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，图像采集模块810、特征提取模块820、特征比对模块830和第一跟随目标调整模块840(或者，位置确定模块910、设备确定模块920、图像获取模块930和目标定位模块940)中的至少一个可以实现为参考图10描述的计算机程序模块，其在被处理器1010执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (14)

1.一种机器人跟随方法，包括：所述机器人在跟随目标移动的过程中，执行以下操作：

采集第一图像；

基于所述第一图像，提取现跟随目标的第一人脸特征和第一身形特征，其中，所述第一身形特征包括身高与身体特定部位的尺寸之间的比例；

比对所述第一人脸特征与第二人脸特征以及所述第一身形特征与第二身形特征是否一致，其中，所述第二人脸特征为原跟随目标的人脸特征，所述第二身形特征为所述原跟随目标的身形特征；以及

响应于所述第一人脸特征与所述第二人脸特征不一致，和/或所述第一身形特征与所述第二身形特征不一致，调整跟随目标为所述原跟随目标。

2.根据权利要求1所述的方法，其中，所述调整跟随目标为所述原跟随目标，包括：

向服务器发送预设指令，使得所述服务器基于所述预设指令获取所述原跟随目标的定位信息并将获取的定位信息发送至所述机器人，其中，所述预设指令用于表征目标跟错或跟丢；

获取并基于所述服务器发送的定位信息，调整导航路径；以及

按照调整后的导航路径，重新跟随所述原跟随目标移动。

3.根据权利要求1所述的方法，其中，所述调整跟随目标为所述原跟随目标，包括：

向服务器发送预设指令，使得所述服务器基于所述预设指令获取所述原跟随目标的定位信息和移动方向并将获取的定位信息和移动方向发送至所述机器人，其中，所述预设指令用于表征目标跟错或跟丢；

获取并基于所述服务器发送的定位信息和移动方向，调整导航路径；以及

按照调整后的导航路径，重新跟随所述原跟随目标移动。

4.根据权利要求1所述的方法，还包括：

响应于所述第一人脸特征与所述第二人脸特征一致，且所述第一身形特征与所述第二身形特征也一致，确定所述现跟随目标与所述原跟随目标为同一目标，并继续跟随所述现跟随目标移动。

5.根据权利要求1所述的方法，其中：

响应于提取到所述第一人脸特征和所述第一身形特征，执行所述比对所述第一人脸特征与第二人脸特征以及所述第一身形特征与第二身形特征是否一致的相关操作。

6.根据权利要求1所述的方法，还包括：

响应于提取不到所述第一人脸特征和/或所述第一身形特征，调整跟随目标为所述原跟随目标。

7.根据权利要求1所述的方法，其中，采集第一图像，包括：

按照预设时钟周期采集所述第一图像。

8.一种定位方法，用于对机器人的跟随目标进行定位，包括：

响应于接收到所述机器人发送的预设指令，确定所述机器人在上一预设时钟周期跟对原跟随目标时所述原跟随目标所在的位置，其中，所述预设指令指示所述机器人在当前预设时钟周期已跟错或跟丢目标；

确定安装在所述位置以及所述位置附近的至少一个图像采集设备；

获取所述至少一个图像采集设备中的每个图像采集设备在预设时间段内采集的N帧图像，其中，所述预设时间段包括从所述上一预设时钟周期到当前时间之间的时间段；以及

基于所述每个图像采集设备在预设时间段内采集的N帧图像，定位所述原跟随目标当前所在的位置并将与该位置对应的定位信息发送至所述机器人，使得所述机器人基于所述定位信息，调整跟随目标为所述原跟随目标。

9.根据权利要求8所述的方法，还包括：

基于所述每个图像采集设备在预设时间段内采集的N帧图像，确定所述原跟随目标当前的移动方向；

将与所述移动方向对应的方向信息发送至所述机器人，使得所述机器人基于所述定位信息和所述方向信息，调整跟随目标为所述原跟随目标。

10.一种机器人，包括：

图像采集模块，用于使得所述机器人在跟随目标移动的过程中，采集第一图像；

特征提取模块，用于基于所述第一图像，提取现跟随目标的第一人脸特征和第一身形特征，其中，所述第一身形特征包括身高与身体特定部位的尺寸之间的比例；

特征比对模块，用于比对所述第一人脸特征与第二人脸特征以及所述第一身形特征与第二身形特征是否一致，其中，所述第二人脸特征为原跟随目标的人脸特征，所述第二身形特征为所述原跟随目标的身形特征；以及

跟随目标调整模块，用于响应于所述第一人脸特征与所述第二人脸特征不一致，和/或所述第一身形特征与所述第二身形特征不一致，调整跟随目标为所述原跟随目标。

11.一种服务器，用于对机器人的跟随目标进行定位，包括：

位置确定模块，用于响应于接收到所述机器人发送的预设指令，确定所述机器人在上一时钟周期跟对原跟随目标时所述原跟随目标所在的位置，其中，所述预设指令指示所述机器人在当前时钟周期已跟错或跟丢目标；

设备确定模块，用于确定安装在所述位置以及所述位置附近的至少一个图像采集设备；

图像获取模块，用于获取所述至少一个图像采集设备中的每个图像采集设备在预设时间段内采集的N帧图像，其中，所述预设时间段包括从所述上一时钟周期到当前时间之间的时间段；以及

目标定位模块，用于基于所述每个图像采集设备在预设时间段内采集的N帧图像，定位所述原跟随目标当前所在的位置并将与该位置对应的定位信息发送至所述机器人，使得所述机器人基于所述定位信息，调整跟随目标为所述原跟随目标。

12.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任一项所述的方法。

13.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至9中任一项所述的方法。

14.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。

Images