CN109648568B - 机器人控制方法、系统及存储介质 - Google Patents

Abstract

本发明的实施例提供了机器人控制方法、系统及存储介质。其中所述机器人包括末端执行器，所述方法包括：获取目标场景的场景图像；显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值；以及根据所述操作点在机器人坐标系的坐标值控制所述末端执行器。上述技术方案利用所获取的场景图像辅助规划末端执行器的运动路径，可以让规划过程更加直观、可视，操作更加简单。由此，克服了现有运动路径规划时操作复杂和效率低的情况，提高了规划的效率和用户体验。

Description

机器人控制方法、系统及存储介质

技术领域

本发明涉及机器人技术领域，更具体地涉及一种机器人控制方法、一种机器人控制系统及一种存储介质。

背景技术

目前，用户对于机器人的运动路径和执行任务控制大多是通过根据操作目的和相对单一化的任务预先测量实际场景和固定编程来实现。这种控制方式只能完成机器人按照预先设置的运动路线和/或轨迹进行单一或者某种固定方式范围内的驱控；而且这种控制方式需要复杂的操作。一旦需要改变机器人的运动路径和/或执行任务，往往需要重新编程甚至设计，造价成本和人力资源重复浪费，同时也造成用户体验比较差。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种机器人控制方法、一种机器人控制系统及一种存储介质。

根据本发明实施例的一方面，提供了一种机器人控制方法，其中所述机器人包括末端执行器，所述方法包括：

获取目标场景的场景图像；

显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；

响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值；以及

根据所述操作点在机器人坐标系的坐标值控制所述末端执行器。

示例性地，所述响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值包括：

响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述期望点在图像坐标系的坐标值；

确定所述图像坐标系与所述机器人坐标系之间的转换关系；

根据所述转换关系，将所述期望点在图像坐标系的坐标值转换为所述操作点在所述机器人坐标系的坐标值。

示例性地，所述图像坐标系和所述机器人坐标系都是笛卡尔直角坐标系，所述确定所述图像坐标系与所述机器人坐标系之间的转换关系包括：

在目标场景的场景图像中选择至少2个图像标定点；

确定所述图像标定点在所述图像坐标系的坐标值；

控制所述末端执行器先后到达所述目标场景中的、与所述图像标定点对应的实际位置点，并且获取所述实际位置点在所述机器人坐标系的坐标值；

根据所述图像标定点在所述图像坐标系的坐标值和所述实际位置点在所述机器人坐标系的坐标值确定所述图像坐标系与所述机器人坐标系之间的转换关系。

示例性地，所述图像标定点的数目为2个且符合以下条件：

分别距离所述目标场景中的操作区域的边界小于第一阈值；

在所述图像坐标系的X轴方向上的距离大于第二阈值；以及

在所述图像坐标系的Y轴方向上的距离大于第三阈值。

示例性地，所述用户界面还包括第一数据显示区，用于编辑所述期望点并且用于显示所述期望点在所述图像坐标系的坐标值。

示例性地，所述用户界面还包括第二数据显示区，用于编辑所述操作点并且用于显示所述操作点在所述机器人坐标系的坐标值；

所述根据所述操作点在机器人坐标系的坐标值控制所述末端执行器包括：

基于所述操作点在机器人坐标系的坐标值确定所述末端执行器的运动轨迹序列；

根据所述运动轨迹序列控制所述末端执行器。

示例性地，所述方法还包括：

基于所述第一数据显示区中显示的期望点的修改，更新所述第二数据显示区中显示的操作点，或者基于所述第二数据显示区中显示的操作点的修改，更新所述第一数据显示区中显示的期望点，以使所述第一数据显示区中显示的期望点与所述第二数据显示区中显示的操作之间保持一一对应关系。

示例性地，所述用户界面还包括放大显示区，所述方法还包括：

获取光标在所述图像显示区的位置的信息；

将所述场景图像中的、以所述位置为中心的预设尺寸区域的局部图像放大，以获得区域图像；

在所述放大显示区显示所述区域图像。

根据本发明实施例的另一方面，还提供了一种机器人控制系统，包括摄像头、显示器和处理器，其中，

所述摄像头用于获取目标场景的场景图像；

所述显示器用于显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；

所述处理器用于响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值；根据所述操作点在机器人坐标系的坐标值控制所述机器人的末端执行器。

示例性地，所述摄像头安装在所述末端执行器上并且所述摄像头的拍摄方向与所述末端执行器的操作方向一致。

根据本发明又一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述机器人控制方法。

上述技术方案利用所获取的场景图像辅助规划末端执行器的运动路径，可以让规划过程更加直观、可视，操作更加简单。由此，克服了现有运动路径规划时操作复杂和效率低的情况，提高了规划的效率和用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本发明一个实施例的机器人控制方法的示意性流程图；

图2示出了根据本发明一个实施例的用户界面的示意图；

图3示出了根据本发明一个实施例的摄像头安装的示意图；

图4示出了根据本发明一个实施例的摄像头设置的示意图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

根据本发明一个实施例，提供了一种机器人控制方法。机器人是自动执行工作的机器装置。机器人可以包括机器人本体、末端执行器(或称为工具)。本体可以包括多个关节如基座、大臂、小臂、腕等。末端执行器例如是一个可以开合的夹爪，也可以是其他操作工具。末端执行器由机器人控制系统控制按照相应路径运动，并在相应的位置完成指定的动作。具体例如，末端执行器受机器人控制系统的操控，实现在三维的空间中运动，并且在指定的位置执行相关动作，例如抓取、释放或其他动作。末端执行器的运动路径可以提前规划，这样末端执行器可以按照规划的路径自动、反复执行。

图1示出了根据本发明一个实施例的机器人控制方法100的示意性流程图。如图1所示，机器人控制方法100包括如下步骤。

步骤S110，获取目标场景的场景图像。

目标场景是机器人的末端执行器进行操作的应用场景。为了方便的进行末端执行器的运动路径的规划，可以通过目标场景的场景图像来辅助末端执行器的运动路径的规划。场景图像是机器人操作的目标场景的真实、客观反映。场景图像中的各个像素点对应于目标场景中的位置点。比如，可以利用摄像头拍摄机器人操作的目标场景的场景图像，然后基于场景图像进行末端执行器的运动路径的规划。在一个示例中，摄像头可以安装在末端执行器上并且摄像头的拍摄方向与末端执行器的操作方向一致。

该场景图像可以是普通的二维图像。在一些目标场景中，首先确定了末端执行器要操作的平面，例如工作台的台面。可以利用摄像头拍摄该工作台的台面的图像作为场景图像。场景图像中的任何像素点唯一地对应于该工作台中的一个位置点。

该场景图像还可以是深度图像。图像中像素点的像素值表示三维空间中对应位置点的深度信息。根据其像素值，场景图像中的像素点唯一地对应于目标场景中的一个位置点。

步骤S120，显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示步骤S110获取的场景图像。

可以理解，为了方便用户操作，机器人控制系统可以提供用户界面供用户进行人机交互。图2示出了根据本发明一个实施例的用户界面的示意图。如图2所示，用户界面包括图像显示区和可操作控件。所述图像显示区用于显示步骤S110获取的场景图像。可选地，当摄像头获取场景图像时，用户界面中的图像显示区可以实时地显示该场景图像，以由用户用于进行机器人控制。

可选地，所述可操作控件用于在所述图像显示区所显示的场景图像中选择期望点。期望点对应于目标场景中机器人的末端执行器执行特定操作的空间位置点，即对应于末端执行器的操作点。末端执行器的操作可以包括抓取动作、释放动作或仅仅通过而不执行额外动作等。可以理解，末端执行器是占有一定空间的工具，而不是一个点。为了计算方便，利用坐标系中的一个点的位置信息作为末端执行器的位置信息。可选地，以末端执行器的某个部位点或其占有空间中的某个点的位置信息作为该末端执行器的位置信息。具体例如，末端执行器是具有类似一个圆锥的工具，可以将末端执行器的最顶端的端点的位置作为末端执行器的位置。又例如末端执行器为可以开合的夹爪，可以用夹爪的几个齿的端点组成的几何平面图形的中心点的位置作为末端执行器的位置。

如前所述，场景图像中的像素点对应于目标场景中的位置点。用户可以利用可操作控件在场景图像中选择期望点，该期望点对应于末端执行器在目标场景中的操作点。在图2所示的用户界面中，用户可以首先利用鼠标点击用户界面左上角的可操作控件“+”，然后再点击图像显示区中所显示的场景图像中的期望点。该期望点对应于目标场景中的末端执行器的操作点。

步骤S130，响应于用户利用用户界面中的可操作控件在步骤S110获取的场景图像中选择期望点的操作，确定目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值。

在控制机器人时，为了在机器人的末端执行器的运动过程中精确地控制末端执行器移动的轨迹并能在指定空间位置执行相关动作，可以建立机器人的坐标系，来确定所述末端执行器的位置信息。这样可以设定或控制末端执行器的运动轨迹，并使其在指定的空间位置执行相关动作。

在末端执行器执行操作时，以实际目标场景中的位置点的坐标为准。所以响应于用户利用可操作控件选择期望点的操作，确定所选择的期望点在机器人坐标系的坐标值。可选地，该机器人坐标系可以是机器人本体坐标系，以机器人的基座的中心点为坐标系原点。因为在机器人的各个关节执行操作的过程中，机器人的基座是保持不动的。由此，利用该机器人本体坐标系来执行机器人控制，可以避免各种坐标系变换，简化了计算。

步骤S140，根据步骤S130中确定的操作点在机器人坐标系的坐标值，控制机器人的末端执行器。

可以理解，根据步骤S130中所确定的操作点在机器人坐标系的坐标值，可以通过机器人控制系统控制机器人的末端执行器移动到相应位置并进行相关操作。当存在多个操作点时，还可以确定各个操作点之间的执行顺序，由此控制机器人的末端执行器按照特定轨迹执行任务。

上述技术方案利用所获取的场景图像辅助规划末端执行器的运动路径，可以让规划过程更加直观、可视，操作更加简单。由此，克服了现有运动路径规划时操作复杂和效率低的情况，提高了规划的效率和用户体验。

示例性地，步骤S130响应于用户利用可操作控件在场景图像中选择期望点的操作，确定目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值包括以下步骤。

步骤S131，基于步骤S110获取的场景图像，用户通过可操作控件选择期望点。响应于用户利用所述可操作控件的操作，确定所述期望点在图像坐标系的坐标值。

可以理解，基于步骤S110获取的场景图像实际上由对应一定目标场景的、均匀分布的像素点构成。每个像素点的位置信息可以用一对数字表示。这样可以以像素作为基本单位建立图像坐标系，基于图像坐标系确定用户选择的期望点的坐标值。

具体例如，一个图像的分辨率为640x480，它表示图像横向包括640个像素，纵向包括480个像素，因此图像中像素总数为640×480＝307,200像素。图像坐标系可以定义为以图像的左下角为原点O，以图像的下横边框为X坐标轴，以图像的左竖边框为Y坐标轴。基于上述图像坐标系，选择图像中任一点都可以确定该点在图像坐标系中的坐标值(x，y)，其中，x表示所述点在X轴方向上是第几个像素点，y表示所述点在Y轴方向上是第几个像素点。

步骤S132，确定图像坐标系与机器人坐标系之间的转换关系。

如前所述，场景图像中的每个像素点都对应于目标场景中唯一的实际位置点，例如，场景图像是普通二维平面图像，末端执行器操作对象都位于一个平面的情况。基于场景图像中像素点与目标场景中位置点存在对应关系，可以确定图像坐标系与机器人坐标系之间的转换关系。示例性地，该转换关系可以用转换公式表示。

步骤S133，根据步骤S132确定的转换关系，将所述期望点在图像坐标系的坐标值转换为与所述期望点对应的操作点在所述机器人坐标系的坐标值。

基于两个不同坐标系的转换关系，可以将一个点在图像坐标系中的坐标值转换为其对应点在机器人坐标系的坐标值。在一个示例中，所述转换关系表示为对应的转换公式，可以将期望点在图像坐标系中的坐标值带入该转换公式，以确定与该期望点对应的操作点在机器人坐标系的坐标值。

上述技术方案，基于图像坐标系和机器人坐标系之间的转换关系来确定操作点在机器人坐标系的坐标值，保证了操作点在机器人坐标系的坐标值的准确度。由此，确保了机器人的末端执行器正确按照规划的运动路径执行相关操作。

示例性地，上述图像坐标系和机器人坐标系都是笛卡尔直角坐标系。所述步骤S132确定图像坐标系与机器人坐标系之间的转换关系包括以下步骤。

步骤S141，在目标场景的场景图像中选择至少2个图像标定点。该场景图像可以是在控制机器人运动之前获取的，其仅用于在其中选择图像标定点，以确定图像坐标系和机器人坐标系之间的关联关系。

示例性地，所述图像标定点的数目为2个且符合以下条件：分别距离目标场景中的操作区域的边界小于第一阈值。在目标场景中，机器人的末端执行器有个操作区域。末端执行器在该操作区域中执行各项操作，例如抓取物体、释放物体等。场景图像是目标场景的真实反映。因此，在场景图像中存在操作区域对应的影像区域。在图像坐标系的X轴方向上的距离大于第二阈值；以及在图像坐标系的Y轴方向上的距离大于第三阈值。

可以理解，在进行坐标转换时，选择的2个图像标定点距离越远、越能代表目标场景的整个操作区域计算结果越精确。因此，期望2个图像标定点尽可能接近于目标场景中的操作区域的边界或者位于所述边界上，例如与操作区域的边界之间的距离小于第一阈值。在一个具体示例中，所述目标场景中的操作区域为一长方形区域，那么尽量在长方形区域的内部靠近边缘的位置选择2个图像标定点。另外，2个图像标定点在X轴方向和Y轴方向上距离都要尽可能大。这样能够保证坐标系转换的准确性。在上述示例中，可以在长方形的对角线两端分别选择一个图像标定点，这样2个图像标定点在X轴方向和Y轴方向上的距离都较大。

可选地，上述第一阈值，第二阈值，第三阈值的信息可以自用户界面接收，也可以通过其他交互接口接收。该第一阈值、第二阈值和第三阈值取决于目标场景中的操作区域的形状、操作区域在场景图像中的成像位置等因素。

步骤S142，确定步骤S141中所选择的图像标定点在图像坐标系的坐标值。根据图像标定点在场景图像中的位置，基于上述定义的图像坐标系，可以确定选择的图像标定点在图像坐标系的坐标值。

步骤S143，控制末端执行器先后到达目标场景中的、与图像标定点对应的实际位置点，并且获取所述实际位置点在所述机器人坐标系的坐标值。

可以控制机器人的末端执行器先后到达目标场景中的、与图像标定点的对应的实际位置点。可以理解，所述图像标定点是基于场景图像选定的。因为场景图像是实际目标场景的真实反映，所以在实际目标场景中存在与该图像标定点对应的位置点，简称对应点。因为该对应点是存在于目标场景中的，所以可以获取该对应点的机器人坐标系的坐标值。

在上述示例中，首先，控制机器人的末端执行器移动到与长方形区域(操作区域)的对角线一端的图像标定点对应的实际位置点处。此时，可以利用机器人的编码器或角度传感器等各种合适的传感器来获取末端执行器的位置信息，即该实际位置点在机器人坐标系的坐标值。然后，控制末端执行器移动到与长方形区域的对角线另一端的图像标定点对应的实际位置点处。类似地，获得该实际位置点在机器人坐标系的坐标值。

步骤S144，根据图像标定点在图像坐标系的坐标值和实际位置点在机器人坐标系的坐标值确定图像坐标系与机器人坐标系之间的转换关系。

上述技术方案通过获取场景图像中2个图像标定点的坐标值和所述2个点在机器人坐标系中的对应点的坐标值，确定图像坐标系和机器人坐标系之间的转换关系。这样无需确切知道两个坐标系的平移和旋转关系，使得摄像头拍摄角度和区域不受限制，操作更加方便和灵活。

示例性地，用户界面还包括第一数据显示区，用于编辑在步骤S110获取的场景图像中选择的期望点，并且用于显示所述期望点在所述图像坐标系的坐标值。

再次参考图2，所示用户界面包括第一数据显示区。所述第一数据显示区可以用文本编辑区实现。该第一数据显示区中包括在场景图像中选择的期望点的相关数据。可以利用第一数据显示区将所选择的期望点确定为对应于机器人的末端执行器的抓取点、释放点或过渡点等。

所述第一数据显示区可以显示一个表格，第一行可以是表头。表头的内容从左到右分别为操作点名称、操作点在图像坐标系的X轴坐标值、Y轴坐标值。

对应抓取点的期望点可记为C*，其中*代表编号。例如，C0为第一个抓取点，C1为第二个抓取点。对应释放点的期望点可记为D*，其中*也代表编号。例如，D0为第一个释放点，D1为第二个释放点。对应过渡点的期望点可记为N*，其中*也代表编号。例如，N0为第一个过渡点，N1为第二个过渡点。可以理解编号仅为区分各个位置点，而不表示位置点之间的顺序关系。

可以理解，第一数据显示区除了用于显示上述这些期望点的位置信息还可以支持编辑功能，以编辑这些期望点。所述编辑可以包括修改期望点的属性(对应于抓取点、释放点或过渡点)和位置信息，新增期望点以及删除期望点等。

基于第一数据显示区的显示和编辑操作，能够让用户简单、方便的规划末端执行器的运动任务，提升了工作效率。

示例性地，用户界面还包括第二数据显示区，用于编辑所述操作点并且用于显示所述操作点在所述机器人坐标系的坐标值。

再如图2所示，该用户界面包括第二数据显示区。所述第二数据显示区也可以用文本编辑区实现。该第二数据显示区中包括控制末端执行器在目标场景中执行操作的操作点的信息。所述操作点是目标场景中的实际位置点，其对应于在场景图像中选择的期望点。如上所述，所述操作点包括抓取点、释放点和过渡点等。可以利用第二数据显示区将操作点确定为抓取点、释放点或过渡点。

与第一数据显示区类似的，所述第二数据显示区也可以显示一个表格，第一行可以是表头。表头的内容从左到右分别为操作点名称、操作点在机器人坐标系的X轴坐标值、Y轴坐标值。

可选地，该表格中还可以显示操作点在机器人坐标系的Z轴坐标值。可以理解，第一数据显示区中的期望点的位置数据为其在图像坐标系的坐标值。图像坐标系是平面坐标系，所以第一数据显示区只显示期望点在图像坐标系的X轴和Y轴坐标值。第二数据显示区中的操作点为末端执行器在三维空间中执行操作的位置点，所以操作点可以机器人坐标系的X轴、Y轴和Z轴的坐标值。

同样可以理解，第二数据显示区中的数据用于控制末端执行器执行任务操作。第二数据显示区还可以用于显示所述操作点的其他信息。比如在末端执行器为夹爪的情况下，第二数据显示区还可以显示夹爪在该操作点的开合参数。

与期望点类似的，操作点中的抓取点可记为C*，其中*代表编号。例如，C0为第一个抓取点，C1为第二个抓取点。操作点中的释放点记为D*，其中*也代表编号。例如，D0为第一个释放点，D1为第二个释放点。操作点中的过渡点记为N*，*代表编号。例如，N0为第一个过渡点，N1为第二个过渡点。可以理解编号仅为区分各个操作点，而不表示操作点之间的顺序关系。

可选地，步骤S140根据操作点在机器人坐标系的坐标值控制末端执行器包括：首先，基于操作点在机器人坐标系的坐标值确定末端执行器的运动轨迹序列；然后，根据运动轨迹序列控制所述末端执行器。

上述第二数据显示区中显示了操作点在机器人坐标系的坐标值、操作点的属性(抓取点、释放点或过渡点)。可以理解，基于操作点在机器人坐标系中的属性和坐标值，可以确定末端执行器的运动轨迹序列。具体例如，上述第二数据显示区中有2个点，一个为抓取点，一个为释放点，控制末端执行器运动到抓取点的位置抓取物体，然后控制其运动到释放点的位置释放物体。

可以理解，第二数据显示区除了用于显示上述这些信息还可以支持编辑功能，以编辑这些信息。所述编辑可以包括修改操作点的属性和位置信息，新增期望点以及删除期望点等。

示例性地，所述机器人控制方法还包括：基于第一数据显示区中显示的期望点的修改，更新第二数据显示区中显示的操作点；或者基于第二数据显示区中显示的操作点的修改，更新所述第一数据显示区中显示的期望点。由此，使得上述第一数据显示区中显示的操作点与上述第二数据显示区中显示的操作点保持一一对应关系。

响应于用户的不同操作，第一数据显示区中显示的期望点可能发生变化。例如，响应于用户利用前述可操作控件在场景图像中选择了新的期望点，第一数据显示区中可以增加新的期望点。又例如，响应于用户在第一数据显示区中对所显示的期望点的编辑，第一数据显示区中所显示的期望点将相应改变。当第一数据显示区中显示的期望点发生变化时，相应地更新第二数据显示区中显示的操作点，以使二者保持一一对应。例如，如果第一数据显示区中增加了新的期望点，在第二数据显示区中增加与之对应的操作点。

与以上内容类似地，第二数据显示区中显示的操作点也可能发生变化。例如响应于用户在第二数据显示区中对所显示的操作点的编辑，第二数据显示区中所显示的操作点将相应改变。当第二数据显示区中显示的操作点发生变化时，相应地更新第一数据显示区中显示的期望点，以使二者保持一一对应。

上述第一数据显示区中显示的操作点与所述第二数据显示区中显示的操作点保持一一对应关系，使得用户更明了末端执行器当前的运动路径，并且确保了能够基于根据场景图像规划的运动路径正确地控制末端执行器。

示例性地，用户界面还包括放大显示区。所述放大显示区用于放大显示场景图像中的局部区域，以方便用户针对所述局部区域的精确操作。

所述方法还可以包括以下步骤：

步骤210，获取光标在图像显示区的位置的信息。

步骤220，将所述场景图像中的、以所述位置为中心的预设尺寸区域的局部图像放大，以获得区域图像。可选地，上述预设尺寸的信息可以自用户界面接收，也可以通过其他交互接口接收。例如，该预设尺寸可以包括预设尺寸区域的长和宽数据。

步骤230，在所述放大显示区显示所述区域图像。

在一个示例中，用户可以移动光标，使其位于感兴趣区域。放大显示区可以放大的方式跟踪显示光标附近的局部图像。在一些情况下，实际目标场景会比较大，而拍摄的场景图像受分辨率限制难以提供目标场景的细节。通过提供放大显示区，可以针对用户的感兴趣位置进行局部放大。这样可以方便用户在所获取的场景图像中更精确的选择期望点，进而提高了机器人的末端执行器的操作精度。

根据本发明另一方面，还提供了一种机器人控制系统。该系统包括摄像头、显示器和处理器：所述摄像头用于获取目标场景的场景图像；所述显示器用于显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；所述处理器用于响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述操作点在机器人坐标系的坐标值；根据所述操作点在机器人坐标系的坐标值控制所述机器人的末端执行器。所述处理器可以具体用于执行根据本发明实施例的上述机器人控制方法的相应步骤。

示例性地，机器人控制系统中的摄像头安装在所述末端执行器上并且所述摄像头的拍摄方向与所述末端执行器的操作方向一致。

可以理解，场景图像的范围至少包括机器人的末端执行器的操作区域，所以摄像头安装在末端执行器上能够方便地拍摄到操作区域。具体例如，摄像头可以安装在末端执行器的一侧或者中心位置。

图3示出了根据本发明一个实施例的摄像头安装的示意图，如图所示，摄像头安装在末端执行器上，摄像头的拍摄方向与所述末端执行器的操作方向一致。

可选地，上述安装在末端执行器上的摄像头可以支持调整视角等参数。图4示出了根据本发明一个实施例的摄像头设置界面的示意图，如图所示，可以通过设置界面调整摄像头的相关参数，如旋转角度、帧率、比例和分辨率。

可以理解，摄像头调整角度后，拍摄的场景图像也会调整相应的角度。在这种情况下，需要重新进行图像坐标系和机器人坐标系的转换计算。

摄像头安装在末端执行器上，这样可以适应不同操作区域的拍摄，无需额外安装摄像头支架，减少了对操作环境的依赖，同时也方便了用户操作。

此外，根据本发明再一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时使得所述计算机或处理器执行本发明实施例的机器人控制方法的相应步骤。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

本领域普通技术人员通过阅读上文关于机器人控制方法的相关描述，可以理解上述机器人控制系统和存储介质的具体实现方案，为了简洁，在此不再赘述。

根据本发明实施例的机器人控制方法、机器人控制系统及存储介质，通过获取场景图像，使得用户能够基于场景图像规划末端执行器的运动路径，可以让规划过程更加直观、可视，操作更加简单，克服了通过控制机器人的末端执行器进行任务规划时操作复杂和效率低的情况，提高了规划的效率和用户体验。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于机器人控制系统中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种机器人控制方法，其中所述机器人包括末端执行器，所述方法包括：

获取目标场景的场景图像；

显示用户界面，其中，所述用户界面包括图像显示区、可操作控件、第一数据显示区和第二数据显示区，所述图像显示区用于显示所述场景图像；

响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值；

基于所述操作点在机器人坐标系的坐标值确定所述末端执行器的运动轨迹序列；以及

根据所述运动轨迹序列控制所述末端执行器；

其中，所述第一数据显示区用于编辑所述期望点并且用于显示所述期望点在图像坐标系的坐标值；所述第二数据显示区用于编辑所述操作点并且用于显示所述操作点在所述机器人坐标系的坐标值，

所述方法还包括：基于所述第一数据显示区中显示的期望点的修改，更新所述第二数据显示区中显示的操作点，或者基于所述第二数据显示区中显示的操作点的修改，更新所述第一数据显示区中显示的期望点，以使所述第一数据显示区中显示的期望点与所述第二数据显示区中显示的操作之间保持一一对应关系。

2.如权利要求1所述的方法，其中，所述响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值包括：

响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述期望点在图像坐标系的坐标值；

确定所述图像坐标系与所述机器人坐标系之间的转换关系；

根据所述转换关系，将所述期望点在图像坐标系的坐标值转换为所述操作点在所述机器人坐标系的坐标值。

3.如权利要求2所述的方法，其中，所述图像坐标系和所述机器人坐标系都是笛卡尔直角坐标系，所述确定所述图像坐标系与所述机器人坐标系之间的转换关系包括：

在目标场景的场景图像中选择至少2个图像标定点；

确定所述图像标定点在所述图像坐标系的坐标值；

控制所述末端执行器先后到达所述目标场景中的、与所述图像标定点对应的实际位置点，并且获取所述实际位置点在所述机器人坐标系的坐标值；

根据所述图像标定点在所述图像坐标系的坐标值和所述实际位置点在所述机器人坐标系的坐标值确定所述图像坐标系与所述机器人坐标系之间的转换关系。

4.如权利要求3所述的方法，其中，所述图像标定点的数目为2个且符合以下条件：

分别距离所述目标场景中的操作区域的边界小于第一阈值；

在所述图像坐标系的X轴方向上的距离大于第二阈值；以及

在所述图像坐标系的Y轴方向上的距离大于第三阈值。

5.如权利要求1至4任一项所述的方法，其中，所述用户界面还包括放大显示区，所述方法还包括：

获取光标在所述图像显示区的位置的信息；

将所述场景图像中的、以所述位置为中心的预设尺寸区域的局部图像放大，以获得区域图像；

在所述放大显示区显示所述区域图像。

6.一种机器人控制系统，包括摄像头、显示器和处理器，其中，

所述摄像头用于获取目标场景的场景图像；

所述显示器用于显示用户界面，其中，所述用户界面包括图像显示区、可操作控件、第一数据显示区和第二数据显示区，所述图像显示区用于显示所述场景图像；

所述处理器用于响应于用户利用所述可操作控件在所述场景图像中选择期望点的操作，确定所述目标场景中的与所述期望点对应的操作点在机器人坐标系的坐标值；基于所述操作点在机器人坐标系的坐标值确定所述机器人的末端执行器的运动轨迹序列；根据所述运动轨迹序列控制所述末端执行器；其中，所述第一数据显示区用于编辑所述期望点并且用于显示所述期望点在图像坐标系的坐标值；所述第二数据显示区用于编辑所述操作点并且用于显示所述操作点在所述机器人坐标系的坐标值；所述处理器还用于基于所述第一数据显示区中显示的期望点的修改，更新所述第二数据显示区中显示的操作点，或者基于所述第二数据显示区中显示的操作点的修改，更新所述第一数据显示区中显示的期望点，以使所述第一数据显示区中显示的期望点与所述第二数据显示区中显示的操作之间保持一一对应关系。

7.如权利要求6所述的系统，其中，所述摄像头安装在所述末端执行器上并且所述摄像头的拍摄方向与所述末端执行器的操作方向一致。

8.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至5任一项所述的机器人控制方法。

Images