CN103262080A - 一种无需编程介入的用于快速机器人仿真的创建可仿真三维机器人模型的非编程人员的方法 - Google Patents

Abstract

描述了一个设计工作机器人的虚拟三维模型的系统，因此机器人能在虚拟世界中进行测试。系统和利用这个系统的方法能被用于测试、改进、重新设计和提升机器人的多个虚拟原型。虚拟测试后，优化的设计规格被打印出来并用于构建优化的机器人设计。

Description

一种无需编程介入的用于快速机器人仿真的创建可仿真三维机器人模型的非编程人员的方法

优先权申请信息

本即时申请要求了于2010年7月22日提交的美国临时专利申请61/366,802的权利。

背景技术

在工业、制造业、航天、玩具、娱乐、电影和学术研究中，机器人已经存在了几十年。一个机器人包括以下部分：

1）设计的用于构建在机器内的机械零件和电子传感器、电机、手臂、腿、轮子、摄像机等，它们能够获取有关其环境的反馈并能对这个反馈做出反应；

2）控制行为程序：来自人工操作远程控制装置或来自计算机程序的一系列软件指令，所述计算机程序定义了当其与传感器提供的反馈数据交互时机器人所需的行为；和

3）从传感器获取数据并向各种运动或反应部件提供指令的计算机处理器。

机器人的行为可以以通过无线或有线连接用户手中的远程控制的“控制器”的方式被用户控制。越来越多的机器人已被载入预先写好的行为或控制程序。如果这些行为不需要重要的用户指导，这些行为被称为“自发行为”。开发自发行为和远程控制行为都需要对开发中的程序进行测试以纠正和改进它们的操作。每次测试循环可能确定错误或“小毛病（bug）”，然后必须再重新测试。要完成一个自发行为可能经过几十或甚至上百次循环。

新机器人的物理结构和组件的设计也可以从仿真中受益。从最初的虚拟原型设计开始，可以对每个下一个设计循环进行测试以说明哪些部分需要改进。一旦一个新的部分被重新设计，可以测试机器人的下一次循环。

即使机器人在现场，这些循环中的每个可能花费几分钟或更长时间。在很多情况下，机器人不在现场，这样一个测试周期可能需要数天。

使用机器人仿真器的主要理由是，通过向开发人员提供行为像真正的机器人的虚拟机器人，并因此提供一个合理的准确的测试设置，来缩短原型和开发周期。

为了提供仿真机器人的能力，需要三维视觉模型和程序，该程序将翻译“自发行为”的指令并精确地引起三维虚拟机器人模型“表现出”控制程序中定义的行为。仿真器中，我们需要物理引擎来确保当三维模型“表现出”指令时附加了重力和其他所有物理性质。为了提供逼真的三维图形显示，我们需要三维渲染引擎。

目前，如果不是全部的话，也是大部分的机器人仿真器需要三维模型和与这个模型相关的编制程序成为仿真程序主要的部分，以便机器人模型被仿真。实际上，三维模型和仿真程序被组合成一个针对每个特定机器人的仿真器程序。

乐高提供了简单的、有限的结构，用于用户利用鼠标和用来构建他们的三维视觉模型的乐高部件的可视化图片，来创建他们的三维视觉模型。这个程序还具有功能，能让用户利用鼠标、采用3-4个简单组件来构建一个简单的太空船，然后模拟发射。用户选择一类组件，然后将这些可选的组件拖放到太空船结构中的特定“被引导”的位置。

乐高有另一个程序，允许用户从一个非常大的乐高部件目录中选取并在显示屏幕上构建特定的乐高装配。一旦一个新的装配被建立，程序有能力打印出用于组建装配的所有部件的详细的材料清单（BOM）。这个BOM能成为一个购买这些部件的订单。模型的最终图片没有连接到仿真器。因此，这个建模系统不是“可仿真模型”。

发明内容

根据发明的第一方面，提供了一个用于机器人设计建模的系统，包括：

活动机器人组件库，包括通用和特殊用途的机器人组件和嵌入式组件；

三维图形工作区，包括用于访问活动机器人组件库的菜单和用于将所选组件在用于机器人三维视觉建模的所述工作区定位的工具；

三维环境创建器，用于向环境增加环境要素和条件；

可仿真三维机器人模型（SERM）数据文件包括：与机器人组件和环境要素的三维图形可视化相关的数据；与机器人组件和环境要素的物理性质相关的对象物理数据；和包括针对每个机器人组件和环境要素的指令的活动组件模块；

三维仿真引擎，用于在仿真的环境中，使用SERM内的信息来仿真运行建模的机器人；和

输出装置，用于显示建模的机器人的设计规格。

根据发明的第二方面，提供了一种用于机器人设计建模的方法，包括：

（a)提供一个系统，包括

活动机器人组件库，包括通用和特殊用途的机器人组件和嵌入式组件；

三维图形工作区，包括用于访问活动机器人组件库的菜单和用于将所选组件在用于机器人三维视觉建模的所述工作区定位的工具；

三维环境创建器，用于向环境增加环境要素和条件；

可仿真三维机器人模型（SERM）数据文件包括：与机器人组件和环境要素的三维图形可视化相关的数据；与机器人组件和环境要素的物理性质相关的对象物理数据；和包括针对每个机器人组件和环境要素的指令的活动组件模块；

三维仿真引擎，用于在仿真的环境中，使用SERM内的信息来仿真运行建模的机器人；和

输出装置，用于显示建模的机器人的设计规格；

（b）通过访问活动机器人组件库和选取机器人组件来设计机器人；

（c）利用三维图形工作区来将选取的机器人组件定位到用于机器人三维视觉建模的三维图形工作区的所需的位置，选取的组件被添加到SERM中；

（d）重复步骤（c）直到所有的机器人组件被选取；

（e）利用三维环境创建器添加环境对象和环境条件；

（f）利用三维仿真引擎测试在仿真环境中的建模机器人的功能；

（g）如果需要，重复步骤（c）对建模的机器人进行修改直到达到满意的功能；和

（h）输出建模的机器人的设计规格。

附图说明

图1是SERM的组件的示意图。

具体实施方式

除非另有定义，用于本文中的所有技术和科学术语具有与本发明所属的技术领域的普通技术人员所通常理解的相同的含义。尽管任何与本文中所描述的类似或等同的方法和材料可用于本发明的实施或测试，但是本文描述的是优选的方法和材料。所有下文提及的出版物通过引用被并入本文。

本发明描述了一个系统和一种方法，用于设计工作机器人的虚拟三维模型，因此，它可在虚拟环境中被测试进而测试、改进、重新设计和提升机器人的多个虚拟原型。虚拟测试后，优化的设计规格被打印出来并用于构建优化的机器人设计。

我们与使用机器人仿真的公司和研究人员的工作确定了下述的机器人仿真的需求：

1）一个基于三维物理的三维渲染仿真引擎，其可以执行由更多编程语言之一开发的机器人控制行为。这是机器人仿真器的核心。

2）三维机器人模型必须嵌入在提供每个机器人活动组件的运行指令的程序中。这些活动组件是伺服电机、驱动器、传感器、摄像机、手臂、抓具和任何其他被设计成执行任务或响应环境的特殊装置。我们将定义这样的拥有被编程活动组件的机器人模型为“可仿真三维机器人模型”（SERM）。这种模型是一个程序段，其等待来自控制行为程序的指令并为控制程序提供传感器数据用于控制程序决定下一步怎么做；

3）三维环境或世界创建和编辑能力，以导入、创建或编辑机器人运行所在的环境。这使得机器人在目标环境中被测试，并且他们的构造和编程如本文所讨论的相应地变化。

4）三维机器人模型编辑器，能接收导入的三维机器人模型，并允许编辑机器人的结构和设计，以及组件的修改和添加。这允许机器人设计者对小的和大的设计修改测试效果。每次设计更改循环需要对SERM程序做相应的更改以精确地反应机器人的新能力。对本领域的技术人员可显见的是，本发明着重于在创建和运行机器人仿真的过程中创建和维护精确的SERM的过程。

其他的机器人仿真需求包括记录仿真中的具体指示。视频记录器就是这样一个例子，以提供仿真执行的视频。

传统的现有的创建可仿真三维机器人模型的方法是：

1）获取一个现有的机器人三维视觉模型或用三维制图系统比如SolidWorks、Inventor、SolidEdge、3D StudioMax、Blender软件或类似软件创建一个；

2）将这个模型导入仿真引擎，并编写提供机器人每个活动组件运行指令的程序。这些活动组件的例子包括但不限于，伺服电机、驱动器、传感器、摄像机、手臂、抓具和任何其他被设计成执行任务或响应环境的特殊装置。我们定义这样的拥有被编程的活动组件的机器人模型为“可仿真三维机器人模型”（SERM）；

3）导入或编写机器人行为控制程序以仿真所需行为；

4）测试和改进所有程序直到全部正确地工作；

5）运行仿真测试；和

6）按照需要修正和改进，以分析虚拟实验或系统。

如果这样的实验表明对机器人模型设计做修改，那么这些组件程序段和其他相关联的必须重新编程或修改。

步骤1和2得到了“可仿真三维机器人模型”（SERM）。传统的过程需要具有机器人经验的高熟练三维图形编程人员并且过程十分耗时。新方法减少了50-90%的时间和降低过程的技术难度。

在我们第一个机器人仿真产品中，我们开发了机器人仿真器，利用了结合三维机器人模型和仿真器程序内的所有相关组件编制程序的传统方法。为不同机器人开发了一些仿真器后，我们意识到，需要过多的重复、冗余的工作。我们真正想要的是一个新方法，我们将不再必须对每个三维模型和他们的组件重复具体的编程。

因此，我们开始设计一个新的构架，将消除所有的编程工作的部分，所以我们可以在无需任何编程的情况下创建新机器人仿真器。经过多次设计循环和原型测试，我们确定，关键是将机器人仿真器的各部分分离成更小的独立的部分，这些更小的独立的部分能够结合成带有所有所需合适的程序组件的“预备仿真模型”，以备重新设计的仿真器来执行仿真。

当我们开始发展这种新构架的工作部件时，我们开始看到不带有需要重新编程的三维模型的部件的许多优点。然后，我们发展了仿真器设计，所以对于每个新三维模型将不需要重新编程。尽管，还存在一些被识别的设计不兼容性，但是连续的循环得到了更接近于客户的预备版本。我们已经利用了我们的实验室中的这些连续的版本来开发新仿真器，只需传统方法的一小部分时间。

具体而言，利用本发明，我们能重新设计机器人并更换它的组件，然后重复对带有可充分运行的新组件进行仿真。这个新方法将对新手和有经验的机器人专家如何设计和测试机器人、组件然后仿真它们产生巨大的影响。

因此，在发明的一个实施例中，提供了一个用于建模或测试机器人设计的仿真器系统和一种利用这个系统的方法。

在一些实施例中，系统包括可仿真三维机器人模型（SERM）数据文件、活动机器人组件库、用于机器人三维视觉建模的三维图形工作区、三维环境创建器、三维仿真引擎和输出装置。

在一些实施例中，系统包括用于用户选择的附加库，比如，环境条件库、环境对象库、机器人模型库和类似库。

正如下文所讨论的，在使用中，用户访问系统并开始设计用于建模和/或仿真测试的机器人的过程。在一些实施例中，用户可上传部分完成的机器人设计、来自用于进一步修改的机器人模型库中的机器人设计或之前设计（和测试）的机器人的SERM。

正如下文所讨论的，然后，用户访问活动组件库的图形用户界面，选择一个组件并拖放到用于机器人三维视觉建模的三维图形工作区的所需位置。所选的组件被添加到下文将更详细讨论的SERM中。一旦所有的所需组件被添加，保存SERM和/或用三维环境创建器创建SERM将在其中被测试的环境。本领域技术人员将理解，环境可早于构建机器人生成或者，如上文所讨论的，可从环境库中上传合适的环境到系统中。

SERM包括下述数据类型：三维图形可视化，这是机器人三维视觉模型和环境中的其他对象的数据；对象物理数据，其定义了这些视觉对象的物理性质以及针对每个活动组件的活动组件程序模型，当用户拖放机器人组件到三维图形工作区时活动组件程序模型成为SERM的一部分。这些程序模型为三维仿真引擎或三维仿真器提供了针对每个机器人的或环境的活动组件的运行指令。

然后用户运行三维仿真器图像（image），可选择地，如本文所述的，可以记录机器人在环境中如何运行的。

如果机器人的表现是不可接受的或者表明需要改进的，可以在再次运行仿真前访问SERM来对机器人的控制行为程序和/或组件进行更改。该过程被重复，直到用户满意机器人设计的功能，此时输出设计规格。本领域技术人员将理解，设计规格可能被打印出来或可能显示在输出屏幕上或可能被输出到一个文件中。

如本文所述，该系统包括活动机器人组件程序库。

活动机器人组件程序段的库包括一些通用的和特殊用途的机器人的和嵌入式的组件。这个库包括传感器，比如声呐传感器、红外线传感器、光敏传感器、激光扫描仪，摄像机（静止的、视频、红外）、移动侦测传感器、发动机、驱动器、麦克风、扬声器、嗅探器、声音分析仪、轮子、履带传动器、腿、手臂、抓具，手，关节，输送带和类似物。如下文讨论，这些程序段被设计成在仿真器中链接并编译成可执行码。值得注意的是，这个库被设置成用这个方法可独立修改和增强。这意味着新组件可被添加到库中。

正如下面讨论的，该系统被设置成，通过菜单下拉列表访问库，菜单下拉列表包括每个组件的名称和/或图标。

每个组件都可由用户选择并拖放到三维图形工作区，三维图形工作区上展示有机器人三维视觉模型，用户拖放相应的活动组件到三维图形工作区上的目标三维视觉模型上。当这样的组件被添加到三维模型上时，程序段被添加到了针对每个机器人的准备中的SERM数据文件中。以这种方式，组件相互连接以在虚拟环境中最终使用。

在一个优选的实施例中，系统包括通用机器人、组件和环境对象的一个或多个三维视觉模型库。

用户通过选择菜单指令来“导入”预存的机器人或机器人组件的三维视觉模型来开始流程。三维模型文件通过下拉列表选择或指定包含三维视觉模型的文件名，并且三维模型显示在视觉三维图形“工作区”。

如上所述，用户拖放每个所需的组件到显示在工作区的三维视觉模型上。在添加了所有所需组件后，这个过程创建了SERM的工作模型，用于后续的最终处理并且存储成SERM数据文件。

完整的SERM数据文件包含如图1所示的三种数据类型。

在一些实施例中，SERM数据文件被添加到SERM库中，并可通过菜单命令访问且添加到工作区。在这些实施例中，SERM数据文件可从SERM库中导入到仿真器里用于仿真机器人或组件。

由于这样的设置，如果作为仿真/建模过程的结果，需要改变，保存的SERM可从SERM库被重新载入到工作区，并且通过移除、更改或添加任何组件或嵌入式活动组件来修改，如文中所述。

活动组件库的一个子集是一个由不活动的但用于机器人、组件或环境对象构建的物理构建组件组成的集合。这些对象包括建筑、工业院子、铁轨、办公建筑、办公空间、公寓空间、住宅区、街道、人行道、树木、房屋、家具、机器形式(machine forms)、包装材料、体育设备和对象、所有类型的车辆等。

设计师希望利用这个方法在机器人原型的环境中测试和改进机器人设计，得到的SERM数据提供了必要的和足够的数据用以根据在建模过程中开发的规格来建造机器人。这个数据包括带有每个部件的三维几何定义的所有部件和组件的列表。对于活动组件，数据包括物理尺寸、质量、材料、性能和操作数据。例如，对于扫描仪，数据包括物理尺寸、重量、扫描速度、扫描距离、扫描角度、频率、能耗、连接器细节、操作限制。这个数据可被电子组装并展示（或打印），依据适合于不同用途，比如新手训练，到精工制造的设计、构造或制造规格。

每个SERM包括下述的数据类型（在图1中示意性地示出）

1）三维图形可视化

环境中的机器人和各样的其他对象的三维视觉模型将在附带的仿真器中被仿真。格式与标准三维数据类似，除了需要链接到本方法定义的物理和行为过程的附加结构和约束。

2）对象物理数据：

数据结构定义了相应的图形视觉对象的物理性能。结构定义了质量、尺寸、摩擦力、表面材料、对撞机和机器人与系统中可能交互的其他对象的其他性能。

3）活动组件程序模块

这些程序模块特定于每个活动组件。当用户拖放机器人组件到三维视觉模型时，这些变成了储存的SERM的一部分。正是这些程序模块为仿真器提供了针对于每个机器人的或环境的活动组件的功能性指令。所有传感器、执行器和其他设备利用活动组件程序模块来定义功能、内部流程和特定于它的功能的输入和输出。模块之间的通信可部分地被定义在这些程序模块中，用仿真器控制和执行特定的通信。

这个方法利用了带有定位设备（比如，鼠标）或触摸屏、文件储存器、处理器和储存器和通用操作软件和合适的编程语言的普通计算机，如笔记本电脑、台式电脑或商业/工业计算机。

这个方法具有图形用户界面（GUI），其允许用户能够使用鼠标定位设备或触摸敏感显示屏，使得菜单可被展开并且可通过点击和选择菜单项来做出选择。

点击和选择过程也能允许用户在拖放序列中移动图形对象，从而在显示屏中添加或移动已存在的图形对象。

一个这样的菜单项允许从外部创建的三维创建系统导入已存在的三维机器人模型。

被导入的三维模型可以是新机器人模型、新组件的三维模型或之前从这个过程中已经创建的三维模型。因此，一旦一个特定的机器人或组件由这个过程启动，它立即可用并可重复使用。

另一个菜单项允许用户从下拉列表中选择特定组件并拖放那个组件到被导入的三维模型中相应的部分。拖放这个组件到组件的三维图片中的动作完成了编写提供机器人每个活动组件运行指令的程序段的步骤。

组件的选择被重复直到所有活动组件“可仿真”。

一旦所有的组件被启动，得到的SERM被完成且SERM被保存，用于后续导入到仿真器或用于在这个“启动仿真”的过程中作为另一个活动组件来进一步使用。

这个过程立竿见影的好处是，它改变了三维机器人模型的启动，即从一个编程任务到一个非编程任务，其可被拥有最低培训的设计者和机器人爱好新手实施。有经验的机器人专家也得到了好处，因为他们不再需要写程序来启动准备仿真的三维机器人模型。

一旦一个特定的机器人已经启动仿真，它可用于无限量的其他用户，从而使他们无需编程，也无需编程时间延迟来得到SERM。

因为所述过程也可应用于基本的机器人组件，所以新的更强大或复杂的组件可由基本的启动组件而创建。

结果将是，那些不会编程的人将有机会进行机器人仿真并能够创建新机器人模型用于研究、教育、娱乐、工业和医疗用途。这个方法将极大地提高机器人的增长以及提高虚拟机器人设计和仿真的重要性。

存在许多与机器人相关三维仿真的应用，和许多与机器人无关的的应用。许多确实涉及创建“可仿真的三维模型”（SEM）。一些这样的例子是:制造工艺、建筑工地内的移动设备、比赛中的车辆/汽车、在虚拟游戏或探索(endeavour)中的人类或动物、在医疗场景中的患者流和类似的。因此，这个SERM到SEM的更一般的应用是向其他非机器人应用扩展。

将SERM方法应用到非机器人中仅需要将初始启动组件定义成关于特定领域的那些组件。例如，对于制造仿真，模型是不同的操作员和机器，每个都具有可移动、加工、焊接、连接、检查、漆绘等的一些列功能和组件。模型也可以是被处理的不同材料。为了仿真每个这样的对象（操作员、机器、材料等）需要一组基于功能的程序指令，以允许模型按照行为控制程序指令来“表现”他们的功能。

类似适用于车辆、人类、动物、任何无论是真实或虚构的、有生命的或无生命的对象。不动的简单静止的对象，只需要它们存在并正确地遵循实际仿真中的物理规律。

如果仿真不是基于物理的，但是仿真确实要求可仿真三维模型，那么SERM方法仍适用于这些SEM的简易创建。

因此，SERM方法可应用于任何三维对象模型，其将成为三维仿真的一部分。

如本文所述，其提供一个方法用于启动机器人或组件的三维图形模型成为一个带有相应的程序段和合适的链接的准备仿真三维或可仿真模型，这样得到的可仿真三维模型可立即准备被仿真。

如上文所述，本发明还提供了用于机器人和复杂过程中新组件的创建。如上文所述，这些新组件可被存储在库中，用于后续的其他过程中使用。

在一些实施例中，SERM和/或组件库可能特定于特定的行业、探索领域和应用，其将为这些个体提供新工具，以考虑在这种行业、探索领域和应用中的机器人技术。

如上所述，本发明一个关键的好处是它使得非机器人程序员个人易于接近可仿真三维机器人模型和组件，以开发和构建用于仿真实验和娱乐的虚拟三维机器人。

在一些实施例中，系统被设置成可由互联网访问的，从而允许用户共享数据。

在一些实施例中，SERM组件可能是一个更大系统的一部分，这样的系统以有目的的探索的形式存在，如游戏、学习练习或系统、或其它用途。

尽管发明的优选实施例已在上文描述，但应该意识到并理解，在此可以作各种变形，附加的权利要求意在覆盖可能落入发明精神和范围的所有这样的变形。

Claims (13)

1.用于机器人设计建模的系统，包括：

活动机器人组件库，包括通用和特殊用途的机器人组件和嵌入式组件；

三维图形工作区，包括用于访问活动机器人组件库的菜单和用于将所选组件在用于机器人三维视觉建模的所述工作区定位的工具；

三维环境创建器，用于向环境增加环境要素和条件；

可仿真三维机器人模型（SERM）数据文件包括，与机器人组件和环境要素的三维图形可视化相关的数据；与机器人组件和环境要素的物理性质相关的对象物理数据；和包括针对每个机器人组件和环境要素的指令的活动组件模块；

三维仿真引擎，用于在仿真的环境中，使用SERM内的信息来仿真运行建模的机器人；和

输出装置，用于显示建模的机器人的设计规格。

2.根据权利要求1的系统，其特征在于，包括环境条件库。

3.根据权利要求1的系统，其特征在于，包括环境对象库。

4.根据权利要求1的系统，其特征在于，包括机器人模型库。

5.根据权利要求1的系统，其特征在于，所述活动机器人组件库从由声呐传感器、红外感应器，光敏传感器，激光扫描仪，摄像机，移动侦测传感器，发动机，驱动器，麦克风，扬声器，嗅探器，声音分析仪，轮子，履带传动器，腿，手臂，抓具，手，关节，输送带和它们的组合组成的组中选择。

6.一种建模机器人设计的方法，包括：

（a）提供一个系统，包括

活动机器人组件库，包括通用和特殊用途的机器人组件和嵌入式组件；

三维图形工作区，包括用于访问活动机器人组件库的菜单和用于将所选组件在用于机器人三维视觉建模的所述工作区定位的工具；

三维环境创建器，用于向环境增加环境要素和条件；

可仿真三维机器人模型（SERM）数据文件包括：与机器人组件和环境要素的三维图形可视化相关的数据；与机器人组件和环境要素的物理性质相关的对象物理数据；和包括针对每个机器人组件和环境要素的指令的活动组件模块；

三维仿真引擎，用于在仿真的环境中，使用SERM内的信息来仿真运行建模的机器人；和

输出装置，用于显示建模的机器人的设计规格；

b）通过访问活动机器人组件库和选取机器人组件来设计机器人；

c）利用三维图形工作区来将选取的机器人组件定位到用于机器人三维视觉建模的三维图形工作区的所需的位置，选取的组件被添加到SERM中；

d）重复步骤（c）直到所有的机器人组件被选取；

（e）利用三维环境创建器添加环境对象和环境条件；

（f）利用三维仿真引擎测试在仿真环境中的建模机器人的功能；

（g）如果需要，重复步骤（c）对建模的机器人进行修改直到达到满意的功能；和

（h）输出建模的机器人的设计规格。

7.根据权利要求6的方法，其特征在于，所述输出装置是打印机。

8.根据权利要求6的方法，其特征在于，所述输出装置是视觉显示。

9.根据权利要求6的方法，其特征在于，包括步骤（i）根据输出的设计规格构建机器人。

10.根据权利要求6的方法，其特征在于，所述系统包括环境条件库。

11.根据权利要求6的方法，其特征在于，所述系统包括环境对象库。

12.根据权利要求6的方法，其特征在于，所述系统包括机器人模型库。

13.根据权利要求6的方法，其特征在于，所述活动机器人组件库从由有声呐传感器、红外感应器，光敏传感器，激光扫描仪，摄像机，移动侦测传感器，发动机，驱动器，麦克风，扬声器，嗅探器，声音分析仪，轮子，履带传动器，腿，手臂，抓具，手，关节，输送带和相应它们的组合组成的组中选择。

Images