CN109822568A - 机器人控制方法、系统及存储介质 - Google Patents

Abstract

本发明的实施例提供了一种机器人控制方法、系统及存储介质。其中所述机器人包括末端执行器，所述方法包括：获取目标场景的场景图像；接收期望点模板的设置信息；显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的与期望点对应的操作点在机器人坐标系的坐标值；以及根据所述操作点在机器人坐标系的坐标值控制所述末端执行器。上述技术方案基于所获取的场景图像利用期望点模板辅助规划末端执行器的运动路径，可以批量规划，提升了规划效率。

Description

机器人控制方法、系统及存储介质

技术领域

本发明涉及机器人技术领域，更具体地涉及一种机器人控制方法、一种机器人控制系统及一种存储介质。

背景技术

目前，用户对于机器人的运动路径和执行任务控制大多是通过根据操作目的和相对单一化的任务预先测量和固定编程来实现。这种控制方式只能完成机器人按照预先设置的运动路线和/或轨迹进行单一或者某种固定方式范围内的驱控；而且这种控制方式需要复杂的操作。一旦需要改变机器人的运动路径和/或执行任务，往往需要重新编程甚至设计，造价成本和人力资源重复浪费，同时也造成用户体验比较差。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种机器人控制方法、一种机器人控制系统及一种存储介质。

根据本发明实施例的一方面，提供了一种机器人控制方法，其中所述机器人包括末端执行器，所述方法包括：

获取目标场景的场景图像；

接收期期望点模板的设置信息；

显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；

响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值；以及

根据所述操作点在机器人坐标系的坐标值控制所述末端执行器。

示例性地，所述期望点模板的设置信息包括：所述期望点模板的形状信息、尺寸信息和所述期望点的均匀分布信息。

示例性地，所述期望点模板的设置信息包括：关于所述期望点模板中期望点的顺序的信息，其中所述期望点的顺序对应于所述末端执行器执行操作的操作点顺序；

所述根据所述操作点在机器人坐标系的坐标值控制所述末端执行器包括：

根据所述关于所述期望点模板中期望点的顺序的信息和所述操作点在机器人坐标系的坐标值确定所述末端执行器的运动轨迹序列；

根据所述运动轨迹序列控制所述末端执行器。

示例性地，所述响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值包括：

响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，确定所述期望点模板在图像坐标系的坐标值；

根据所述期望点模板在图像坐标系的坐标值和所述期望点模板的设置信息确定所述期望点在图像坐标系的坐标值；

确定图像坐标系与机器人坐标系之间的转换关系；

根据所述转换关系，将所述期望点在图像坐标系的坐标值转换为所述操作点在机器人坐标系的坐标值。

示例性地，所述方法还包括：

响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，在所述位置显示所述期望点模板。

示例性地，所述方法还包括：

响应于用户在所述用户界面针对所显示的期望点模板中的第一期望点的操作，相应地编辑所述第一期望点。

示例性地，所述响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，在所述位置显示所述期望点模板还包括：

显示所述期望点模板中的期望点之间的、表示所述期望点的顺序的线段，其中，所述期望点的顺序对应于所述末端执行器执行操作的操作点顺序。

示例性地，所述方法还包括：

响应于用户在所述用户界面针对所显示的期望点模板中的第二期望点的操作，修改用于表示所述第二期望点的标识的颜色或形状；和/或

响应于用户在所述用户界面针对所显示的期望点模板中的第一线段的操作，修改所述第一线段的颜色。

示例性地，所述期望点包括：抓取点、释放点和过渡点；

所述显示所述期望点模板包括：

利用不同的颜色或形状的标识显示所述抓取点、所述释放点和所述过渡点。

根据本发明实施例的另一方面，还提供了一种机器人控制系统，包括摄像头、显示器和处理器，其中，

所述摄像头用于获取目标场景的场景图像；

所述显示器用于显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；

所述处理器用于接收期望点模板的设置信息，响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值；并且根据所述操作点在机器人坐标系的坐标值控制所述机器人的末端执行器。

示例性地，所述摄像头安装在所述末端执行器上并且所述摄像头的拍摄方向与所述末端执行器的操作方向一致。

根据本发明实施例的又一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述机器人控制方法。

根据本发明实施例的机器人控制方法、系统及存储介质，通过接收期望点模板的设置信息并获取场景图像，使得用户能够基于场景图像通过期望点模板批量规划末端执行器的运动路径，可以让规划过程更加直观、可视，操作更加简单，效率更高，克服了通过控制机器人的末端执行器进行任务规划时操作复杂和效率低的情况，提高了规划的效率和用户体验。特别是对于机器人的末端执行器的操作点较多的情况，上述技术方案能够显著提高工作效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本发明一个实施例的机器人控制方法的示意性流程图；

图2示出了根据本发明一个实施例的用户界面的示意图；

图3a和图3b分别示出了一个实施例的期望点模板设置界面和利用该设置界面所设置的期望点模板的示意图；

图4a和图4b分别示出了另一个实施例的期望点模板设置界面和利用该设置界面所设置的期望点模板的示意图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

根据本发明一个实施例，提供了一种机器人控制方法。机器人是自动执行工作的机器装置。机器人可以包括机器人本体、末端执行器(或称为工具)。本体可以包括多个关节如基座、大臂、小臂、腕等。末端执行器例如是一个可以开合的夹爪，也可以是其他操作工具。末端执行器由机器人控制系统控制按照相应路径运动，并在相应的位置完成指定的动作。具体例如，末端执行器受机器人控制系统的操控，实现在三维的空间中运动，并且在指定的位置执行相关动作，例如抓取、释放或其他动作。末端执行器的运动路径可以提前规划，这样末端执行器可以按照规划的路径自动、反复执行。

图1示出了根据本发明一个实施例的机器人控制方法100的示意性流程图。如图1所示，机器人控制方法100包括如下步骤：

步骤S110，获取目标场景的场景图像。

目标场景是机器人的末端执行器进行操作的应用场景。为了方便的进行末端执行器的运动路径的规划，可以通过目标场景的场景图像来辅助末端执行器的运动路径的规划。场景图像是机器人操作的目标场景的真实、客观反映。场景图像中的各个像素点对应于目标场景中的位置点。比如，可以利用摄像头拍摄机器人操作的目标场景的场景图像，然后基于场景图像进行末端执行器的运动路径的规划。在一个示例中，摄像头可以安装在末端执行器上并且摄像头的拍摄方向与末端执行器的操作方向一致。

该场景图像可以是普通的二维图像。在一些目标场景中，首先确定了末端执行器要操作的平面，例如工作台的台面。可以利用摄像头拍摄该工作台的台面的图像作为场景图像。场景图像中的任何像素点唯一地对应于该工作台中的一个位置点。

该场景图像还可以是深度图像。图像中像素点的像素值表示三维空间中对应位置点的深度信息。根据其像素值，场景图像中的像素点唯一地对应于目标场景中的一个位置点。

步骤S120，接收期望点模板的设置信息。期望点模板包括多个期望点的位置信息。该多个期望点在期望点模板中的位置是确定的。当在场景图像中确定了期望点模板的位置，则确定了期望点模板中的各个期望点在场景图像中的位置。期望点在场景图像中的位置对应于末端执行器在目标场景中执行特定操作的空间位置点，后者简称为末端执行器的操作点。

利用步骤S110获取的场景图像辅助规划末端执行器的运动路径时，可以通过期望点模板来规划，特别是在末端执行器的操作点比较多而且排列具有一定规则的情况下。

在一个示例中，操作点有n行，每行有m个，操作点之间间距均相同，则可以设置一个由n×m点阵组成的期望点模板，这样可以一次规划n×m个操作点。

可以理解，期望点模板设置信息可以包括期望点模板的形状信息、尺寸信息和期望点的分布信息。在上述示例中，期望点模板的设置信息包括：该期望点模板是长方形、该长方形的长和宽的尺寸、每行期望点为m个，共有n行期望点。可以理解，在期望点模板中，期望点可以是非均匀分布的。这种情况下，期望点模板的设置信息中可以包括各个期望点的具体位置信息。各个期望点的具体位置信息可以用各个期望点相对于期望点模板的位置来表示。期望点模板的位置可以用例如期望点模板的中心的位置、期望点模板的某个顶点的位置等来表示。

可选地，接收期望点模板的设置信息可以利用交互接口。具体例如，通过人机交互界面，由用户输入期望点模板的设置信息。

步骤S130，显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示步骤S110获取的目标场景的场景图像。

可以理解，为了方便用户操作，机器人控制系统可以提供用户界面供用户进行人机交互。图2示出了根据本发明一个实施例的用户界面的示意图。如图2所示，用户界面包括图像显示区和可操作控件。所述图像显示区用于显示步骤S110获取的场景图像。可选地，当摄像头获取场景图像时，用户界面中的图像显示区可以实时地显示该场景图像，以由用户用于进行机器人控制。

可选地，所述可操作控件用于在所述图像显示区所显示的场景图像中确定期望点模板的位置。所述期望点模板中的期望点对应于目标场景中机器人的末端执行器执行特定操作的空间位置点，即对应于末端执行器的操作点。可以理解，末端执行器是占有一定空间的工具，而不是一个点。为了计算方便，利用坐标系中的一个点的位置信息作为末端执行器的位置信息。可选地，以末端执行器的某个部位点或其占有空间中的某个点的位置信息作为该末端执行器的位置信息。具体例如，末端执行器是具有类似一个圆锥的工具，可以将末端执行器的顶端的端点的位置作为末端执行器的位置。又例如末端执行器为可以开合的夹爪，可以用夹爪的几个齿的端点组成的几何平面图形的中心点的位置作为末端执行器的位置。

如前所述，场景图像中的像素点对应于目标场景中的位置点。用户可以利用可操作控件在场景图像中设置期望点模板进而确定各个期望点在场景图像中的位置。期望点对应于末端执行器在目标场景中的操作点。在图2所示的用户界面中，用户可以首先利用鼠标点击用户界面左上角的可操作控件“+”，然后再点击图像显示区中所显示的场景图像中的某个位置点，在所述位置点处设置期望点模板。可以理解，可以以该位置点为期望点模板的中心来设置期望点模板。替代地，可以以该位置点为期望点模板的一个顶点来设置期望点模板，例如左上顶点。

步骤S140，响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值。

在控制机器人时，为了在机器人的末端执行器的运动过程中精确地控制末端执行器移动的轨迹并能在指定空间位置点执行相关动作，可以建立机器人的坐标系，来确定所述末端执行器的位置信息。这样可以设定或控制末端执行器的运动轨迹，并使其在指定的空间位置点执行相关动作。

在末端执行器执行操作时，以实际目标场景中的位置点的坐标为准。响应于用户利用可操作控件在场景图像中确定期望点模板的位置的操作，可以进一步确定期望点模板中的期望点在场景图像中的位置。因为场景图像中的像素点与目标场景中的空间位置点之间的对应关系，可以确定目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值。可选地，该机器人坐标系可以是机器人本体坐标系，以机器人的基座的中心点为坐标系原点。因为在机器人的各个关节执行操作的过程中，机器人的基座是保持不动的。由此，利用该机器人本体坐标系来执行机器人控制，可以避免各种坐标系变换，简化了计算。

步骤S150，根据步骤S140所述的操作点在机器人坐标系的坐标值控制所述末端执行器。

可以理解，根据步骤S140中所确定的操作点在机器人坐标系的坐标值，可以通过机器人控制系统控制机器人的末端执行器移动到相应位置并进行相关操作。当存在多个操作点时，还可以确定各个操作点之间的执行顺序，由此控制机器人的末端执行器按照特定轨迹执行任务。

可以理解，虽然根据本发明一个实施例以特定顺序描述了机器人控制方法中的各个步骤。但这仅为示例，而非对本发明的限制。例如，步骤S120可以先于步骤S110执行。例如，可以首先接收用户根据机器人的任务设计的期望点模板的设置信息。然后，获取目标场景的场景图像，以利用期望点模板基于场景图像实现机器人控制。

上述技术方案通过获取场景图像并接收期望点模板的设置信息，使得用户能够基于场景图像通过期望点模板批量规划末端执行器的运动路径，可以让规划过程更加直观、可视，操作更加简单，效率更高，克服了通过控制机器人的末端执行器进行任务规划时操作复杂和效率低的情况，提高了规划的效率和用户体验。

示例性地，所述期望点模板的设置信息包括：所述期望点模板的形状信息、尺寸信息和所述期望点的均匀分布信息。可以理解，上述期望点模板的设置信息能够确保期望点精确地按照一定的规则分布期望点模板中。

具体例如，一个试管架上的试管需要由末端执行器搬运。试管架共有五排，每排有五支试管，并且试管之间的间距相同。在这种情况下，可以通过一个5×5的矩形模板定义期望点模板。图3a和图3b分别示出了根据本发明一个实施例的期望点模板设置界面和与之对应的期望点模板的示意图。如图3a所示，针对上述试管架为正方形的形状，期望点模板可以设置为矩形。长和宽分别为试管架的长与宽。图3a中所示“平分数”是期望点模板中的期望点的均匀分布信息，其表示在期望点模板的长或宽的方向上平均分布的操作点的个数。如图3a所示的期望点模板的设置内容为：样式为矩形矩阵，长为100，平分数为5，宽也为100，平分数为5。这样就会生成5×5的矩阵，每排上有5个点，总共有5排，该期望点模板中共有25个期望点。图3b为利用图3a所示的期望点模板设置界面设置的期望点模板示意图。

再例如，一个圆形试管架，其中有5个试管待由机器人搬运。5支试管均匀的分布在圆形试管架的圆周上。在这种情况下，可以用一个圆形模板来定义期望点模板。图4a和图4b分别示出了另一个实施例期的期望点模板设置界面和与之对应的期望点模板的示意图。如图4a所示，针对上述圆形试管架为圆形的形状，期望点模板可以设置为圆盘。通过期望点模板设置界面接收圆形试管架的半径。图4a中所示的“平分数”是期望点模板中的期望点的均匀分布信息，其表示指在期望点模板的圆周上平均分布的几个操作点的个数。如图4a所示的期望点模板的设置内容为：样式为圆盘，半径为100，平分数为5。图4b为利用图4a所示的期望点模板设置界面设置的期望点模板示意图。其中，图4b中的虚线为圆的周边，中间的点为圆心。可选地，所述圆的周边和圆心仅为示意，在场景图像中设置期望点模板时可以不显示。

可以理解，上述两例设置的期望点模板中的期望点均匀分布。在期望点非均匀分布的情况下，期望点模板的设置信息中可以包括期望点模板中的各个期望点的位置信息。

通过接收期望点模板的上述设置信息，可以按照一定的规则设置期望点模板中的所有期望点，提高了规划效率。

示例性地，所述期望点模板的设置信息包括：关于期望点模板中期望点的顺序的信息。该期望点的顺序对应于末端执行器执行操作的操作点顺序。换言之，末端执行器执行操作时，按照期望点的顺序，末端执行器依次移动到与期望点对应的操作点，以在各个操作点处执行对应的任务。上述步骤S150根据操作点在机器人坐标系的坐标值控制末端执行器包括：根据关于期望点模板中期望点的顺序的信息和操作点在机器人坐标系的坐标值确定所述末端执行器的运动轨迹序列；根据所述运动轨迹序列控制所述末端执行器。

在一个示例中，期望点模板中包括2个期望点，分别是抓取点和释放点。二者的顺序为抓取点在前，释放点在后。那么末端执行器执行操作时，首先运动与抓取点对应的操作点，并在该位置处执行抓取操作；然后运动到与释放点对应的操作点，并在该位置处执行释放操作。

如图3b所示期望点模板，期望点模板给出了所有期望点的操作顺序。所述操作顺序用期望点编号来表示。例如，起点为N0，第二个期望点为N1，以此类推，终点为N24，其他每个期望点都有编号。末端执行器在执行操作时，按照编号顺序依次运动到各个期望点对应的操作点。

如图4b所示的圆盘期望点模板，期望点模板给出了所有操作点的操作顺序。所述操作顺序也用期望点编号来表示。例如，起点为N0，第二个期望点为N1，以此类推，终点为N4，其他每个期望点都有编号，如N1，N2，N3。末端执行器在执行操作时，按照编号顺序依次运动到各个期望点对应的操作点。

可以理解，上述期望点编号可以响应于用户操作进行修改，以调整期望点的顺序。

可以理解，根据步骤S140中所确定的操作点在机器人坐标系的坐标值，可以通过机器人控制系统控制机器人的末端执行器移动到相应位置点并进行相关操作。当存在多个操作点时，还可以确定各个操作点之间的执行顺序，由此控制机器人的末端执行器按照特定轨迹执行任务。

上述技术方案基于期望点模板中的期望点的顺序，可以方便地规划末端执行器执行操作的操作顺序。由此，确保了机器人的末端执行器按照规划的运动路径正确的执行相关操作。

示例性地，上述步骤S140响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值包括以下步骤：

步骤141，基于步骤S110获取的场景图像，响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，确定所述期望点模板在图像坐标系的坐标值。

可以理解，场景图像实际上由对应目标场景的、均匀分布的像素点构成。每个像素点的位置信息可以用一对数字表示。这样可以以像素作为基本单位建立图像坐标系，基于图像坐标系确定期望点模板的坐标值，进而确定各个期望点的坐标值。

具体例如，一个图像的分辨率为640x480，它表示图像横向包括640个像素，纵向包括480个像素，因此图像中像素总数为640×480＝307,200像素。图像坐标系可以定义为以图像的左下角为原点O，以图像的下横边框为X坐标轴，以图像的左竖边框为Y坐标轴。基于上述图像坐标系，选择图像中任一点都可以确定该点在图像坐标系中的坐标值(x，y)，其中，x表示所述点在X轴方向上是第几个像素点，y表示所述点在Y轴方向上是第几个像素点。

可以理解，期望点模板是一平面图形，占有一定面积，而不是一个点。为了计算方便，利用图像坐标系中的一个点的位置信息作为期望点模板的位置信息。可选地，以期望点模板的某个顶点或其中心点的位置信息作为该期望点模板的位置信息。具体例如，期望点模板是一个矩形，可以将期望点模板的某个顶点的位置作为期望点模板的位置。如图3b所示的期望点模板为一矩形，可以把顶点N0所在的位置作为该期望点模板的位置，当然也可以把N4、N20或N24所在的位置作为该期望点模板的位置。又例如期望点模板为一圆形，可以将期望点模板的圆心所在的位置作为期望点模板的位置。例如图4b所示的期望点模板，可以把中心点(圆心)o的位置作为该期望点模板的位置。

步骤S142，根据所述期望点模板在图像坐标系的坐标值和所述期望点模板的设置信息确定所述期望点在图像坐标系的坐标值。

如前所述，期望点模板包括多个期望点的位置信息。可以理解，基于步骤141确定的期望点模板的位置信息，根据多个期望点在期望点模板中的位置信息，可以确定每个期望点在图像坐标系的坐标值。

步骤S143，确定图像坐标系与机器人坐标系之间的转换关系。

如前所述，场景图像中的每个像素点都对应于目标场景中唯一的实际位置点，例如，场景图像是普通二维平面图像，末端执行器的操作对象都位于一个平面的情况。基于场景图像中像素点与目标场景中位置点存在对应关系，可以确定图像坐标系与机器人坐标系之间的转换关系。示例性地，该转换关系可以用转换公式表示。

步骤S144，根据步骤S143确定的转换关系，将期望点在图像坐标系的坐标值转换为与其对应的操作点在机器人坐标系的坐标值。

基于两个不同坐标系的转换关系，可以将一个点在图像坐标系中的坐标值转换为其对应点在机器人坐标系的坐标值。在一个示例中，所述转换关系表示为对应的转换公式，可以将期望点在图像坐标系中的坐标值代入该转换公式，以确定与该期望点对应的操作点在机器人坐标系的坐标值。

上述技术方案，基于图像坐标系和机器人坐标系之间的转换关系来确定操作点在机器人坐标系的坐标值，保证了操作点在机器人坐标系的坐标值的准确度。由此，确保了机器人的末端执行器正确按照规划的运动路径执行相关操作。

示例性地，所述方法还包括：响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，在所述位置显示所述期望点模板。

可以理解，响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据接收的期望点模板的设置信息生成所述期望点模板，并在所述位置显示所述期望点模板。

通过显示期望点模板，可以让用户可视的操作或调整期望点模板，方便用户规划末端执行器的运动路径。

示例性地，所述方法还包括：响应于用户在所述用户界面针对所显示的期望点模板中的第一期望点的操作，相应地编辑所述第一期望点。

第一期望点可以是期望点模板中的任意一个或多个期望点。可以理解，上述显示的期望点模板中的第一期望点可以允许用户编辑其相关属性。具体例如，可以编辑期望点的显示形状、颜色、标签等信息。

允许编辑期望点模板中的期望点，可以使期望点模板更准确地表示机器人的任务，或者使不同期望点的显示方式不同以利于用户分辨，提高了用户体验。

示例性地，所述期望点包括：抓取点、释放点和过渡点。

可以理解，末端执行器所执行的任务可以包括抓取任务和释放任务等，所以期望点可以包括抓取点和释放点，其分别对应末端执行器在目标场景中的抓取点和释放点。另外，为了更好的规划末端执行器的运动路径还可以增加过渡点。所述过渡点是末端执行器运动路径经过的点，在该点无需执行任何操作。过渡点的设置可以让末端执行器的运动路径经过指定的点，以更好的执行操作任务，例如可以成功避开一些路障，使得机器人能够更顺利地运动物体。由此，期望点也可以包括过渡点，其对应于末端执行器在目标场景中的过渡点。

示例性地，响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，在所述位置显示所述期望点模板还包括：显示期望点模板中的期望点之间的、表示期望点的顺序的线段，其中，期望点的顺序对应于末端执行器执行操作的操作点顺序。

可以理解，在规划末端执行器的运动路径中，除了确定执行任务的操作点，还需要确定各个操作点的顺序。为了更好的显示操作点顺序，可以在与运动路径中的相邻操作点对应的期望点之间建立连接关系。比如，通过在这两个期望点之间显示线段来表示末端执行器的执行路径。

可以理解，只连接了一个相邻期望点的期望点对应于末端执行器的起点或终点。一般而言，对于是过渡点的期望点，其通常不是起点也不是终点。对于是抓取点的期望点，其可能是起点。对于是释放点的期望点，其可能是终点。再次参考图3b和图4b中所示出的矩阵期望点模板和圆形期望点模板，显示了其中期望点之间的、表示期望点的顺序的线段。经期望点连接的这些线段对应于末端执行器在目标场景中的运动路径。

通过显示表示期望点的顺序的线段，可以标识出末端执行器的执行路径，确保了操作任务的正确执行。

示例性地，所述方法还包括：响应于用户在用户界面针对所显示的期望点模板中的第二期望点的操作，修改用于表示该第二期望点的标识的颜色或形状；和/或响应于用户在用户界面针对所显示的期望点模板中的第一线段的操作，修改该第一线段的颜色。

第二期望点可以是期望点模板中的任意一个或多个期望点。可以理解，可以允许用户编辑期望点模板中的第二期望点的相关属性，比如可以修改第二期望点的标识的颜色或形状。

第一线段可以是前述连接期望点模板中的期望点的任意线段。可选地，这些线段也可以允许用户编辑其相关属性，比如可以修改所述线段的颜色。

通过允许修改期望点的颜色或形状，并允许设置期望点之间的线段的颜色，可以使规划的末端执行器的运动路径更清晰可辨，提高了用户体验。

可选地，上述显示期望点模板包括：利用不同的颜色或形状的标识显示所述抓取点、所述释放点和所述过渡点。

可以理解，利用不同的颜色或形状的标识显示抓取点、释放点和过渡点，可以让用户更好的识别相关操作点。具体例如，在一末端执行器的运动任务规划中，抓取点设置为绿色，形状为三角形；释放点设置为红色，形状为正方形；过渡点设置为黄色，形状为圆形。

通过针对操作点的颜色或形状的标识设置，可以使规划的运动任务更清晰可辨，提高了用户体验。

根据本发明另一个实施例，还提供了一种机器人控制系统。该机器人控制系统包括摄像头、显示器和处理器。所述摄像头用于获取目标场景的场景图像；所述显示器用于显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；所述处理器用于接收期望点模板的设置信息，响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值；并且根据所述操作点在机器人坐标系的坐标值控制所述机器人的末端执行器。

此外，根据本发明又一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时使得所述计算机或处理器执行本发明实施例的上述机器人控制方法的相应步骤。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

本领域普通技术人员通过阅读上文关于机器人控制方法的相关描述，可以理解上述机器人控制系统和存储介质的具体实现方案，为了简洁，在此不再赘述。

根据本发明实施例的机器人控制方法、系统及存储介质，通过接收期望点模板的设置信息并获取场景图像，使得用户能够基于场景图像通过期望点模板批量规划末端执行器的运动路径，可以让规划过程更加直观、可视，操作更加简单，效率更高，克服了通过控制机器人的末端执行器进行任务规划时操作复杂和效率低的情况，提高了规划的效率和用户体验。特别是对于机器人的末端执行器的操作点较多的情况，上述技术方案能够显著提高工作效率。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于机器人控制系统中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种机器人控制方法，其中所述机器人包括末端执行器，所述方法包括：

获取目标场景的场景图像；

接收期望点模板的设置信息；

显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；

响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值；以及

根据所述操作点在机器人坐标系的坐标值控制所述末端执行器。

2.如权利要求1所述的方法，其中，所述期望点模板的设置信息包括：所述期望点模板的形状信息、尺寸信息和所述期望点的均匀分布信息。

3.如权利要求1或2所述的方法，其中，所述期望点模板的设置信息包括：关于所述期望点模板中期望点的顺序的信息，其中所述期望点的顺序对应于所述末端执行器执行操作的操作点顺序；

所述根据所述操作点在机器人坐标系的坐标值控制所述末端执行器包括：

根据所述关于所述期望点模板中期望点的顺序的信息和所述操作点在机器人坐标系的坐标值确定所述末端执行器的运动轨迹序列；

根据所述运动轨迹序列控制所述末端执行器。

4.如权利要求1或2所述的方法，其中，所述响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值包括：

响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，确定所述期望点模板在图像坐标系的坐标值；

根据所述期望点模板在图像坐标系的坐标值和所述期望点模板的设置信息确定所述期望点在图像坐标系的坐标值；

确定图像坐标系与机器人坐标系之间的转换关系；

根据所述转换关系，将所述期望点在图像坐标系的坐标值转换为所述操作点在机器人坐标系的坐标值。

5.如权利要求1所述的方法，其中，所述方法还包括：

响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，在所述位置显示所述期望点模板。

6.如权利要求5所述的方法，其中，所述方法还包括：

响应于用户在所述用户界面针对所显示的期望点模板中的第一期望点的操作，相应地编辑所述第一期望点。

7.如权利要求5所述的方法，其中，所述响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，在所述位置显示所述期望点模板还包括：

显示所述期望点模板中的期望点之间的、表示所述期望点的顺序的线段，其中，所述期望点的顺序对应于所述末端执行器执行操作的操作点顺序。

8.如权利要求7所述的方法，其中，所述方法还包括：

响应于用户在所述用户界面针对所显示的期望点模板中的第二期望点的操作，修改用于表示所述第二期望点的标识的颜色或形状；和/或

响应于用户在所述用户界面针对所显示的期望点模板中的第一线段的操作，修改所述第一线段的颜色。

9.如权利要求7或8所述的方法，其中，所述期望点包括：抓取点、释放点和过渡点；

所述显示所述期望点模板包括：

利用不同的颜色或形状的标识显示所述抓取点、所述释放点和所述过渡点。

10.一种机器人控制系统，包括摄像头、显示器和处理器，其中，

所述摄像头用于获取目标场景的场景图像；

所述显示器用于显示用户界面，其中，所述用户界面包括图像显示区和可操作控件，所述图像显示区用于显示所述场景图像；

所述处理器用于接收期望点模板的设置信息，响应于用户利用所述可操作控件在所述场景图像中确定期望点模板的位置的操作，根据所述期望点模板的设置信息确定所述目标场景中的、与期望点对应的操作点在机器人坐标系的坐标值；并且根据所述操作点在机器人坐标系的坐标值控制所述机器人的末端执行器。

11.如权利要求10所述的系统，其中，所述摄像头安装在所述末端执行器上并且所述摄像头的拍摄方向与所述末端执行器的操作方向一致。

12.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至9任一项所述的机器人控制方法。