CN117472038A - 机器人的跟随控制方法、装置及机器人 - Google Patents

机器人的跟随控制方法、装置及机器人 Download PDF

Info

Publication number
CN117472038A
CN117472038A CN202210845997.5A CN202210845997A CN117472038A CN 117472038 A CN117472038 A CN 117472038A CN 202210845997 A CN202210845997 A CN 202210845997A CN 117472038 A CN117472038 A CN 117472038A
Authority
CN
China
Prior art keywords
robot
target object
acquiring
visual field
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210845997.5A
Other languages
English (en)
Inventor
李东方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Robot Technology Co ltd
Original Assignee
Beijing Xiaomi Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Robot Technology Co ltd filed Critical Beijing Xiaomi Robot Technology Co ltd
Priority to CN202210845997.5A priority Critical patent/CN117472038A/zh
Priority to US18/085,469 priority patent/US20240019877A1/en
Priority to EP22216812.2A priority patent/EP4310622A1/en
Publication of CN117472038A publication Critical patent/CN117472038A/zh
Pending legal-status Critical Current

Links

Classifications

    • G05D1/243—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/686—
    • G05D2107/60—
    • G05D2109/18—
    • G05D2111/10—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

本公开关于一种机器人的跟随控制方法、装置及机器人，涉及机器人技术领域，通过控制机器人对目标对象进行跟随；在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系；根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。本申请在机器人视野受限情况下，根据目标对象与机器人的相对位姿关系，实时调整机器人的视野范围，以避免目标对象在视野范围内丢失，从而达到机器人流畅跟随目标对象的效果。

Description

机器人的跟随控制方法、装置及机器人
技术领域
本公开涉及机器人技术领域，尤其涉及一种机器人的跟随控制方法、装置及机器人。
背景技术
机器人越来越多的参与到日常的工作生活中，跟随机器人作为其中最重要的一个分支，目前广泛应用于物流、运动伴随、拍照摄录等方面。在执行机器人对目标对象进行跟踪的过程中，由于传感器的安装位置以及有效视野的限制，若目标对象快速偏离原路线时，目标对象会消失在机器人视野中，机器人无法持续有效的检测出目标对象的位姿，导致跟随任务失败。
发明内容
本公开提供一种机器人的跟随控制方法、装置及机器人，以至少解决若目标对象快速偏离原路线时，由于目标对象消失在视野中，无法持续有效的检测出目标对象的位姿，导致跟随任务失败的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种机器人的跟随控制方法，包括：控制机器人对目标对象进行跟随；在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系；根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。
本申请在机器人视野受限情况下，根据目标对象与机器人的相对位姿关系，实时调整机器人的视野范围，以避免目标对象在视野范围内丢失，从而达到机器人流畅跟随目标对象的效果。
在一些实施例中，根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，包括：根据相对位姿关系和视野参数信息，确定目标对象与机器人的当前视野中心线的相对角度信息；基于相对角度信息，确定机器人的目标旋转信息；基于目标旋转信息，调整机器人的视野范围。
在一些实施例中，相对位姿关系包括目标对象的第一位姿和机器人的第二位姿，根据相对位姿关系和视野参数信息，确定目标对象与机器人的当前视野中心线的相对角度信息，包括：根据第二位姿和视野参数信息，获取机器人的当前视野中心线；根据第一位姿和第二位姿，获取目标对象与机器人的连接线；根据当前视野中心线和连接线，确定相对角度信息。
在一些实施例中，基于相对角度信息，确定机器人的目标旋转信息，包括：响应于相对角度信息大于预设角度阈值，将相对角度信息确定为机器人的目标旋转信息。响应于相对角度信息小于或等于预设角度阈值，确定机器人的目标旋转信息为预设旋转信息。
在一些实施例中，控制机器人对目标对象进行跟随，包括：获取目标对象的实时图像；基于实时图像，获取目标对象的运动轨迹；控制机器人根据运动轨迹对目标对象进行跟随。
在一些实施例中，控制机器人根据运动轨迹对目标对象进行跟随，包括：在后方跟随场景下，获取目标对象与机器人的预设相对距离；获取目标对象的第一实时速度，并根据第一实时速度和预设相对距离，获取机器人的第二实时速度；控制机器人沿着运动轨迹的切向方向以第二实时速度对目标对象进行跟随。
在一些实施例中，控制机器人对目标对象进行跟随，包括：在侧方跟随场景下，获取目标对象与机器人的预设相对位姿关系；控制机器人根据预设相对位姿关系对目标对象进行跟随，其中，机器人的第一实时运动方向与目标对象的第二实时运动方向保持相同。
根据本公开实施例的第二方面，提供一种机器人的跟随控制装置，包括：控制模块，用于控制机器人对目标对象进行跟随；获取模块，用于在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系；调整模块，用于根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。
在一些实施例中，调整模块，还用于：根据相对位姿关系和视野参数信息，确定目标对象与机器人的当前视野中心线的相对角度信息；基于相对角度信息，确定机器人的目标旋转信息；基于目标旋转信息，调整机器人的视野范围。
在一些实施例中，调整模块，还用于：根据第二位姿和视野参数信息，获取机器人的当前视野中心线；根据第一位姿和第二位姿，获取目标对象与机器人的连接线；根据当前视野中心线和连接线，确定相对角度信息。
在一些实施例中，调整模块，还用于：响应于相对角度信息大于预设角度阈值，将相对角度信息确定为机器人的目标旋转信息。响应于相对角度信息小于或等于预设角度阈值，确定机器人的目标旋转信息为预设旋转信息。
在一些实施例中，控制模块，还用于：获取目标对象的实时图像；基于实时图像，获取目标对象的运动轨迹；控制机器人根据运动轨迹对目标对象进行跟随。
在一些实施例中，控制模块，还用于：在后方跟随场景下，获取目标对象与机器人的预设相对距离；获取目标对象的第一实时速度，并根据第一实时速度和预设相对距离，获取机器人的第二实时速度；控制机器人沿着运动轨迹的切向方向以第二实时速度对目标对象进行跟随。
在一些实施例中，控制模块，还用于：在侧方跟随场景下，获取目标对象与机器人的预设相对位姿关系；控制机器人根据预设相对位姿关系对目标对象进行跟随，其中，机器人的第一实时运动方向与目标对象的第二实时运动方向保持相同。
根据本公开实施例的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本申请第一方面实施例所述的机器人的跟随控制方法。
根据本公开实施例的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本申请第一方面实施例所述的机器人的跟随控制方法。
根据本公开实施例的第五方面，提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本申请第一方面实施例所述的机器人的跟随控制方法。
根据本公开实施例的第六方面，提出了一种机器人，包括如本公开实施例的第二方面所述的机器人的跟随控制装置，或者包括如本公开实施例的第三方面所述的电子设备。
本公开的实施例提供的技术方案至少带来以下有益效果：
本申请在机器人视野受限情况下，根据目标对象与机器人的相对位姿关系，实时调整机器人的视野范围，以避免目标对象在视野范围内丢失，从而达到机器人流畅跟随目标对象的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种机器人的跟随控制方法的示例性实施方式。
图2是根据一示例性实施例示出的机器人按照目标对象的运动轨迹进行运动控制的示意图。
图3是根据一示例性实施例示出的一种机器人根据目标对象的运动轨迹调整机器人的视野范围的示意图。
图4是根据一示例性实施例示出的一种机器人左后方跟随目标对象的示意图。
图5是根据一示例性实施例示出的一种机器人右后方跟随目标对象的示意图。
图6是根据一示例性实施例示出的一种机器人的跟随控制方法的示例性实施方式。
图7是根据一示例性实施例示出的一种机器人的跟随控制方法的总体流程图。
图8是根据一示例性实施例示出的一种机器人的跟随控制装置的示意图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本申请提出的一种机器人的跟随控制方法的示例性实施方式，如图1所示，该机器人的跟随控制方法，包括以下步骤：
S101，控制机器人对目标对象进行跟随。
在移动机器人应用中，平面内需要3个坐标值来确定唯一状态：其中两个坐标(X,Y)用于确定机器人位置，另外一个用于确定机器人的方向。全向运动是指机器人在二维平面上从当前位置向任意方向运动的能力，具有全向运动能力的机器人能够实现完美的运动性能，即能够在当前位置沿着任意方向的路径移动。
本申请所涉及的机器人，具有全向运动能力，比如说本申请所涉及的机器人可包括具有全向运动能力的四足机器人，或者具有全向运动能力的无人机等，在机器人执行跟随任务时，需控制机器人对目标对象进行跟随。本申请可适用于服务机器人，搬运机器人，运动伴随机器人，拍照摄录机器人等含有目标跟随需求的机器人。
示例性的，控制机器人对目标对象进行跟随的跟随过程中，机器人大多都是按照目标对象的运动轨迹进行运动控制的规划，在运动过程中机器人的正前方会一直朝着目标对象运动轨迹的切线方向。图2是根据一示例性实施例示出的机器人按照目标对象的运动轨迹进行运动控制的示意图，如图2所示，用圆形代表目标对象，用矩形代表机器人，曲线为目标对象走过的运动轨迹(图上已示出)，目标对象以v1的速度向右转弯，机器人以v2的速度沿着目标对象走过的运动轨迹的切向方向运行，以对目标对象进行跟随，扇形代表机器人的图像采集装置的视野范围，扇形中间的虚线代表机器人的视野中心线，此时目标对象位于机器人的视野范围内。可选的，机器人的图像采集装置可包括安装在机器人上的摄像头或者深度相机等。
S102，在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系。
在对目标对象的跟随过程中，获取目标对象的实时位姿作为第一位姿，获取机器人的实时位姿作为第二位姿，并基于目标对象的第一位姿以及机器人的第二位姿，获取目标对象与机器人之间的相对位姿关系。其中，位姿是描述目标对象或者机器人在指定坐标系下的位置和姿态，位置指的是目标对象或者机器人在空间里的定位，姿态指的是目标对象或者机器人在空间里的朝向。
示例性的，在获取目标对象的第一位姿时，可根据机器人所采集的目标对象的实时图像进行识别和处理以获取目标对象的第一位姿，在获取机器人的第二位姿时，可以利用全球导航卫星系统(Global Navigation Satellite System，GNSS)，来获取机器人的位置，或者可以基于无线保真(wireless fidelity，wifi)、蓝牙或者超宽带(Ultra WideBand，UWB)等进行有源定位，以获取机器人的第二位姿。
S103，根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。
在机器人对目标对象的跟随过程中，如果出现目标对象突然快速移动的情况，目标对象可能会在机器人的视野范围内丢失，为了避免目标对象在机器人的视野范围内丢失的情况，需要根据目标对象与机器人之间的相对位姿关系和机器人的视野参数信息，实时调整机器人的视野范围，使得目标对象一直处于调整后的视野范围内。其中，视野参数信息包括机器人的视野角度，视野中心线等信息。
图3是机器人根据目标对象的运动轨迹调整机器人的视野范围的示意图，如图3所示，在拐角处，目标对象向右快速行进的过程中，若机器人的视野范围还是原先的视野范围，则目标对象会在机器人的视野范围内丢失，图3中，在机器人沿着目标对象的运动轨迹的切向方向行进过程中，控制机器人向右旋转一定的角度，使得目标对象在向右快速行进的过程中也处于调整后的视野范围内。需要注意的是，由于本申请所提出的机器人具有全向运动能力，虽然机器人的朝向发生了改变，但机器人的行进方向依然是沿着目标对象的运动轨迹的切向方向行进。可选的，控制机器人向右旋转，可为控制整个机器人向右旋转，也可为只控制机器人的图像采集装置向右旋转。
本申请实施例提出了一种机器人的跟随控制方法，通过控制机器人对目标对象进行跟随；在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系；根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。本申请在机器人视野受限情况下，根据目标对象与机器人的相对位姿关系，实时调整机器人的视野范围，以避免目标对象在视野范围内丢失，从而达到机器人流畅跟随目标对象的效果。
进一步的，在控制机器人对目标对象进行跟随时，为了更准确的获取目标对象的运动轨迹，可基于机器人身上安装的图像采集装置获取目标对象的实时图像，并根据实时图像，获取目标对象的运动轨迹，以控制机器人根据运动轨迹对目标对象进行跟随。可选的，根据实时图像，获取目标对象的运动轨迹时，可采用根据历史轨迹点拟合的方法等。
作为一种可实现的方式，在后方跟随场景下，获取目标对象与机器人的预设相对距离，并实时获取目标对象的第一实时速度，并根据第一实时速度和预设相对距离，获取机器人的第二实时速度，获取机器人的第二实时速度后，控制机器人沿着运动轨迹的切向方向以第二实时速度对目标对象进行跟随，以避免目标对象突然加快速度使得机器人跟不上目标对象的情况，或者避免目标对象突然减慢速度使得机器人与目标对象发生相撞的情况。在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系，并根据目标对象与机器人之间的相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内，以确保机器人能够在后方跟随的场景下目标对象不在视野范围内丢失。
比如说，若目标对象和机器人的初始移动速度均为5km/h，目标对象与机器人的预设相对距离为100cm，若某一时刻，目标对象的第一实时速度突然提升至8km/h，为了避免机器人跟不上目标对象的情况，根据目标对象的第一实时速度8km/h，以及目标对象与机器人的预设相对距离为100cm，获取机器人的第二实时速度，获取机器人的第二实时速度后，控制机器人沿着运动轨迹的切向方向以第二实时速度对目标对象进行跟随。
作为另一种可实现的方式，在侧方跟随场景下，机器人不需要沿着目标对象的轨迹切线方向运行，机器人需要与目标对象保持预设相对位姿关系进行运行，获取目标对象与机器人的预设相对位姿关系，并控制机器人根据预设相对位姿关系对目标对象进行跟随，在跟随过程中，机器人的第一实时运动方向与目标对象的第二实时运动方向保持相同。在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系，并根据目标对象与机器人之间的相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内，以确保机器人能够在侧方跟随的场景下目标对象不在视野范围内丢失。
图4是本申请示出的机器人左后方跟随目标对象的示意图，如图4所示，机器人的方向旋转一定角度，使得目标对象始终处于机器人的视野范围内，目标对象以速度v1向左边方向水平前进，机器人以速度v2向左边方向水平前进。其中，目标对象的速度v1与机器人的速度v2的大小可以相同也可以不同。
图5是本申请示出的机器人右后方跟随目标对象的示意图，如图5所示，机器人的方向旋转一定角度，使得目标对象始终处于机器人的视野范围内，目标对象以速度v1向右边方向水平前进，机器人以速度v2向右边方向水平前进。其中，目标对象的速度v1与机器人的速度v2的大小可以相同也可以不同。
图6是本申请提出的一种机器人的跟随控制方法的示例性实施方式，如图6所示，基于上述实施例的基础上，根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，包括以下步骤：
S601，根据相对位姿关系和视野参数信息，确定目标对象与机器人的当前视野中心线的相对角度信息。
在对目标对象的跟随过程中，获取目标对象的实时位姿作为第一位姿，获取机器人的实时位姿作为第二位姿，并根据目标对象的第一位姿以及机器人的第二位姿，获取目标对象与机器人之间的相对位姿关系。
根据机器人的第二位姿和视野参数信息，获取机器人的当前视野中心线，并根据目标对象的第一位姿和机器人的第二位姿，获取目标对象与机器人的连接线，获取当前视野中心线和连接线两条线形成的夹角的大小和方向，并将夹角的大小和方向作为相对角度信息。示例性的，若目标对象与机器人的连接线位于机器人的当前视野中心线的右侧，当前视野中心线和连接线两条线形成的夹角大小为30°，则目标对象相对于机器人的当前视野中心线的相对角度信息为右侧夹角30°。需要注意的是，为了便于获取目标对象与机器人的当前视野中心线的相对角度信息，目标对象与机器人的连接线的一端是目标对象，另一端是机器人的当前视野中心线的发射顶点处，也可以视为图像采集装置处。
S602，基于相对角度信息，确定机器人的目标旋转信息。
根据上述确定的目标对象相对于机器人的当前视野中心线的相对角度信息，确定机器人的目标旋转信息。
作为一种可实现的方式，可直接将相对角度信息作为机器人的目标旋转信息，比如说，上述确定的目标对象相对于机器人的当前视野中心线的相对角度信息为右侧夹角30°，则机器人的目标旋转信息为向右侧旋转30°。
作为另一种可实现的方式，可预先设置一个预设角度阈值，若相对角度信息大于预设角度阈值，认为此时目标对象有从视野范围内丢失的风险，将相对角度信息确定为机器人的目标旋转信息。示例性的，若机器人的视野范围为120°，可视为机器人的视野范围为当前视野中心线的左右各60°，若将预设角度阈值设置为40°，即意味着当相对角度信息大于40°时，认为此时目标对象有从视野范围内丢失的风险，将相对角度信息确定为机器人的目标旋转信息。比如说相对角度信息为右侧45°时，将右侧旋转45°作为器人的目标旋转信息。若相对角度信息小于或等于预设角度阈值，确定机器人的目标旋转信息为预设旋转信息。其中，预设旋转信息可以为0，即意味着当相对角度信息小于或等于预设角度阈值时，认为此时目标对象没有从视野范围内丢失的风险，对机器人不进行视野范围的调整。
S603，基于目标旋转信息，调整机器人的视野范围。
根据上述确定的目标旋转信息，调整机器人的视野范围。
示例性的，若上述确定的目标旋转信息为向右侧旋转30°，则控制机器人向右侧旋转30°，以调整机器人的视野范围。
本申请实施例在机器人视野受限情况下，根据目标对象与机器人的相对位姿关系，实时调整机器人的视野范围，以避免目标对象在视野范围内丢失，从而达到机器人流畅跟随目标对象的效果。
图7是本申请提出的一种机器人的跟随控制方法的总体流程图，如图7所示，该机器人的跟随控制方法，包括以下步骤：
S701，获取目标对象的实时图像。
S702，基于实时图像，获取目标对象的运动轨迹。
S703，控制机器人根据运动轨迹对目标对象进行跟随。
关于步骤S701～S703的实现方式，可参照上述实施例中相关部分的介绍，在此不再进行赘述。
S704，在对目标对象的跟随过程中，获取目标对象的第一位姿和机器人的第二位姿。
S705，根据第二位姿和视野参数信息，获取机器人的当前视野中心线。
S706，根据第一位姿和第二位姿，获取目标对象与机器人的连接线。
S707，根据当前视野中心线和连接线，确定相对角度信息。
关于步骤S704～S707的实现方式，可参照上述实施例中相关部分的介绍，在此不再进行赘述。
S708，基于相对角度信息，确定机器人的目标旋转信息。
S709，基于目标旋转信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。
关于步骤S708～S709的实现方式，可参照上述实施例中相关部分的介绍，在此不再进行赘述。
本申请实施例提出了一种机器人的跟随控制方法，通过控制机器人对目标对象进行跟随；在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系；根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。本申请在机器人视野受限情况下，根据目标对象与机器人的相对位姿关系，实时调整机器人的视野范围，以避免目标对象在视野范围内丢失，从而达到机器人流畅跟随目标对象的效果。
图8是本申请提出的一种机器人的跟随控制装置的示意图，如图8所示，该机器人的跟随控制装置800，包括控制模块801、获取模块802和调整模块803，其中：
控制模块801，用于控制机器人对目标对象进行跟随；
获取模块802，用于在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系；
调整模块803，用于根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。
本申请实施例提出了一种机器人的跟随控制装置，通过控制机器人对目标对象进行跟随；在对目标对象的跟随过程中，获取目标对象与机器人之间的相对位姿关系；根据相对位姿关系和机器人的视野参数信息，调整机器人的视野范围，其中，目标对象处于调整后的视野范围内。本申请在机器人视野受限情况下，根据目标对象与机器人的相对位姿关系，实时调整机器人的视野范围，以避免目标对象在视野范围内丢失，从而达到机器人流畅跟随目标对象的效果。
进一步的，调整模块803，还用于：根据相对位姿关系和视野参数信息，确定目标对象与机器人的当前视野中心线的相对角度信息；基于相对角度信息，确定机器人的目标旋转信息；基于目标旋转信息，调整机器人的视野范围。
进一步的，调整模块803，还用于：根据第二位姿和视野参数信息，获取机器人的当前视野中心线；根据第一位姿和第二位姿，获取目标对象与机器人的连接线；根据当前视野中心线和连接线，确定相对角度信息。
进一步的，调整模块803，还用于：响应于相对角度信息大于预设角度阈值，将相对角度信息确定为机器人的目标旋转信息。响应于相对角度信息小于或等于预设角度阈值，确定机器人的目标旋转信息为预设旋转信息。
进一步的，控制模块801，还用于：获取目标对象的实时图像；基于实时图像，获取目标对象的运动轨迹；控制机器人根据运动轨迹对目标对象进行跟随。
进一步的，控制模块801，还用于：在后方跟随场景下，获取目标对象与机器人的预设相对距离；获取目标对象的第一实时速度，并根据第一实时速度和预设相对距离，获取机器人的第二实时速度；控制机器人沿着运动轨迹的切向方向以第二实时速度对目标对象进行跟随。
进一步的，控制模块801，还用于：在侧方跟随场景下，获取目标对象与机器人的预设相对位姿关系；控制机器人根据预设相对位姿关系对目标对象进行跟随，其中，机器人的第一实时运动方向与目标对象的第二实时运动方向保持相同。
图9是根据一示例性实施例示出的一种电子设备900的框图。
如图9所示，上述电子设备900包括：
存储器901及处理器902，连接不同组件(包括存储器901和处理器902)的总线903，存储器901存储有计算机程序，当处理器902执行程序时实现本公开实施例的机器人的跟随控制方法。
总线903表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备900典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备900访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器901还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)904和/或高速缓存存储器905。电子设备900可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统906可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线903相连。存储器901可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块907的程序/实用工具908，可以存储在例如存储器901中，这样的程序模块907包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块907通常执行本公开所描述的实施例中的功能和/或方法。
电子设备900也可以与一个或多个外部设备909(例如键盘、指向设备、显示器910等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口911进行。并且，电子设备900还可以通过网络适配器912与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器912通过总线903与电子设备900的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器902通过运行存储在存储器901中的程序，从而执行各种功能应用以及数据处理。
需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的机器人的跟随控制方法的解释说明，此处不再赘述。
为了实现上述实施例，本申请实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如上述实施例所示的机器人的跟随控制方法。可选的，非瞬时计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上述实施例所示的机器人的跟随控制方法。
为了实现上述实施例，本申请实施例还提出一种机器人，该机器人包括如上述实施例所示的机器人的跟随控制装置，或者包括如上述实施例所示的电子设备。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种机器人的跟随控制方法，其特征在于，包括：
控制机器人对目标对象进行跟随；
在对所述目标对象的跟随过程中，获取所述目标对象与所述机器人之间的相对位姿关系；
根据所述相对位姿关系和所述机器人的视野参数信息，调整所述机器人的视野范围，其中，所述目标对象处于调整后的所述视野范围内。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相对位姿关系和所述机器人的视野参数信息，调整所述机器人的视野范围，包括：
根据所述相对位姿关系和所述视野参数信息，确定所述目标对象与所述机器人的当前视野中心线的相对角度信息；
基于所述相对角度信息，确定所述机器人的目标旋转信息；
基于所述目标旋转信息，调整所述机器人的视野范围。
3.根据权利要求2所述的方法，其特征在于，所述相对位姿关系包括所述目标对象的第一位姿和所述机器人的第二位姿，根据所述相对位姿关系和所述视野参数信息，确定所述目标对象与所述机器人的当前视野中心线的相对角度信息，包括：
根据所述第二位姿和所述视野参数信息，获取所述机器人的当前视野中心线；
根据所述第一位姿和所述第二位姿，获取所述目标对象与所述机器人的连接线；
根据所述当前视野中心线和所述连接线，确定所述相对角度信息。
4.根据权利要求2所述的方法，其特征在于，所述基于所述相对角度信息，确定所述机器人的目标旋转信息，包括：
响应于所述相对角度信息大于预设角度阈值，将所述相对角度信息确定为所述机器人的目标旋转信息；
响应于所述相对角度信息小于或等于所述预设角度阈值，确定所述机器人的目标旋转信息为预设旋转信息。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述控制机器人对目标对象进行跟随，包括：
获取所述目标对象的实时图像；
基于所述实时图像，获取所述目标对象的运动轨迹；
控制所述机器人根据所述运动轨迹对所述目标对象进行跟随。
6.根据权利要求5所述的方法，其特征在于，所述控制所述机器人根据所述运动轨迹对所述目标对象进行跟随，包括：
在后方跟随场景下，获取所述目标对象与所述机器人的预设相对距离；
获取所述目标对象的第一实时速度，并根据所述第一实时速度和所述预设相对距离，获取所述机器人的第二实时速度；
控制所述机器人沿着所述运动轨迹的切向方向以所述第二实时速度对所述目标对象进行跟随。
7.根据权利要求1所述的方法，其特征在于，所述控制机器人对目标对象进行跟随，包括：
在侧方跟随场景下，获取所述目标对象与所述机器人的预设相对位姿关系；
控制所述机器人根据预设相对位姿关系对目标对象进行跟随，其中，所述机器人的第一实时运动方向与所述目标对象的第二实时运动方向保持相同。
8.一种机器人的跟随控制装置，其特征在于，包括：
控制模块，用于控制机器人对目标对象进行跟随；
获取模块，用于在对所述目标对象的跟随过程中，获取所述目标对象与所述机器人之间的相对位姿关系；
调整模块，用于根据所述相对位姿关系和所述机器人的视野参数信息，调整所述机器人的视野范围，其中，所述目标对象处于调整后的所述视野范围内。
9.根据权利要求8所述的装置，其特征在于，所述调整模块，还用于：
根据所述相对位姿关系和所述视野参数信息，确定所述目标对象与所述机器人的当前视野中心线的相对角度信息；
基于所述相对角度信息，确定所述机器人的目标旋转信息；
基于所述目标旋转信息，调整所述机器人的视野范围。
10.根据权利要求9所述的装置，其特征在于，所述调整模块，还用于：
根据所述第二位姿和所述视野参数信息，获取所述机器人的当前视野中心线；
根据所述第一位姿和所述第二位姿，获取所述目标对象与所述机器人的连接线；
根据所述当前视野中心线和所述连接线，确定所述相对角度信息。
11.根据权利要求9所述的装置，其特征在于，所述调整模块，还用于：
响应于所述相对角度信息大于预设角度阈值，将所述相对角度信息确定为所述机器人的目标旋转信息；
响应于所述相对角度信息小于或等于所述预设角度阈值，确定所述机器人的目标旋转信息为预设旋转信息。
12.根据权利要求8-11中任一项所述的装置，其特征在于，所述控制模块，还用于：
获取所述目标对象的实时图像；
基于所述实时图像，获取所述目标对象的运动轨迹；
控制所述机器人根据所述运动轨迹对所述目标对象进行跟随。
13.根据权利要求12所述的装置，其特征在于，所述控制模块，还用于：
在后方跟随场景下，获取所述目标对象与所述机器人的预设相对距离；
获取所述目标对象的第一实时速度，并根据所述第一实时速度和所述预设相对距离，获取所述机器人的第二实时速度；
控制所述机器人沿着所述运动轨迹的切向方向以所述第二实时速度对所述目标对象进行跟随。
14.根据权利要求8所述的装置，其特征在于，所述控制模块，还用于：
在侧方跟随场景下，获取所述目标对象与所述机器人的预设相对位姿关系；
控制所述机器人根据预设相对位姿关系对目标对象进行跟随，其中，所述机器人的第一实时运动方向与所述目标对象的第二实时运动方向保持相同。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
18.一种机器人，其特征在于，包括如权利要求8所述的机器人的跟随控制装置，或者包括如权利要求15所述的电子设备。
CN202210845997.5A 2022-07-18 2022-07-18 机器人的跟随控制方法、装置及机器人 Pending CN117472038A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210845997.5A CN117472038A (zh) 2022-07-18 2022-07-18 机器人的跟随控制方法、装置及机器人
US18/085,469 US20240019877A1 (en) 2022-07-18 2022-12-20 Following control method for robot, electronic device, and storage medium
EP22216812.2A EP4310622A1 (en) 2022-07-18 2022-12-27 Following control method and apparatus for robot and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210845997.5A CN117472038A (zh) 2022-07-18 2022-07-18 机器人的跟随控制方法、装置及机器人

Publications (1)

Publication Number Publication Date
CN117472038A true CN117472038A (zh) 2024-01-30

Family

ID=84604166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210845997.5A Pending CN117472038A (zh) 2022-07-18 2022-07-18 机器人的跟随控制方法、装置及机器人

Country Status (3)

Country Link
US (1) US20240019877A1 (zh)
EP (1) EP4310622A1 (zh)
CN (1) CN117472038A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160188977A1 (en) * 2014-12-24 2016-06-30 Irobot Corporation Mobile Security Robot
WO2017143589A1 (en) * 2016-02-26 2017-08-31 SZ DJI Technology Co., Ltd. Systems and methods for visual target tracking
US11372408B1 (en) * 2018-08-08 2022-06-28 Amazon Technologies, Inc. Dynamic trajectory-based orientation of autonomous mobile device component

Also Published As

Publication number Publication date
US20240019877A1 (en) 2024-01-18
EP4310622A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
US9846043B2 (en) Map creation apparatus, map creation method, and computer-readable recording medium
US11906983B2 (en) System and method for tracking targets
WO2016035324A1 (en) Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion
US20180192035A1 (en) Systems and methods for object location
US11227395B2 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
US9311757B2 (en) Movement distance estimating device and movement distance estimating method
US20210174113A1 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
KR102331000B1 (ko) 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
Fanani et al. Keypoint trajectory estimation using propagation based tracking
CN111045433A (zh) 一种机器人的避障方法、机器人及计算机可读存储介质
CN113295159B (zh) 端云融合的定位方法、装置和计算机可读存储介质
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
CN117472038A (zh) 机器人的跟随控制方法、装置及机器人
CN114147707B (zh) 一种基于视觉识别信息的机器人对接方法与设备
CN108731683B (zh) 一种基于导航信息的无人机自主回收目标预测方法
US11810264B2 (en) Driving environment display device for vehicles and method of controlling the same
JP7064948B2 (ja) 自律移動装置及び自律移動システム
KR20230031550A (ko) 카메라 자세 결정 및 그 방법을 수행하는 전자 장치
JP6186072B2 (ja) 単一カメラを用いた３ｄでの移動物体の位置測定
CN113011212A (zh) 图像识别方法、装置及车辆
Sato Improvement of self position estimation of electric wheelchair combining multiple positioning methods
US20240112363A1 (en) Position estimation system, position estimation method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination