CN111203871A - 使用独立致动视觉系统的机器人操纵 - Google Patents

使用独立致动视觉系统的机器人操纵 Download PDF

Info

Publication number
CN111203871A
CN111203871A CN201911133264.3A CN201911133264A CN111203871A CN 111203871 A CN111203871 A CN 111203871A CN 201911133264 A CN201911133264 A CN 201911133264A CN 111203871 A CN111203871 A CN 111203871A
Authority
CN
China
Prior art keywords
camera
manipulator
pose
learning
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911133264.3A
Other languages
English (en)
Inventor
伊曼·索尔塔尼博兹查洛伊
弗朗西斯·阿萨迪安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111203871A publication Critical patent/CN111203871A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39391—Visual servoing, track end effector with camera image feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)

Abstract

本公开提供了“使用独立致动视觉系统的机器人操纵”。一种自动化系统包括：操纵系统，所述操纵系统包括用于将对象移动到目标位置的操纵器；视觉系统，所述视觉系统用于检测所述对象和所述目标位置上的界标；以及学习和控制模块。所述视觉系统是可移动的。所述学习和控制模块被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。

Description

使用独立致动视觉系统的机器人操纵
技术领域
本公开涉及自动化系统，并且更具体地涉及用于基于界标检测来控制和操作自动化系统的系统及方法。
背景技术
本部分中的说明仅提供与本公开相关的背景信息，并且可以不构成现有技术。
视觉伺服已被用于自动化系统中。视觉伺服是指基于视觉的机器人控制，它使用视觉数据执行任务，诸如组装、交付或检查单个机器部件或组装好的机器部件。界标检测是许多自动化任务的核心。界标检测使用由视觉系统捕获的视觉数据来检测机器部件或组装的机器部件上的感兴趣点或参考点(即，界标)。机器部件上的示例性界标包括：螺纹孔的中心、销或螺钉的尖端和轴线、齿轮件的中心、齿轮齿、车门的铰链等。
通常，基于界标检测操作自动化系统具有其局限性。首先，很难手动开发适合于可靠检测各种对象上的界标的特征提取方案。即使成功开发了这种算法，也必须将它们根据特定机器部件进行定制，并且不能在其他应用中使用。例如，螺钉尖端检测算法不能用于检测齿轮齿，反之亦然。其次，在各种对象或机器部件移动的动态环境中，难以正确地调整相机的视野。有时，相机的视野可能会被完全遮挡，或者对于界标检测而言可能不是最佳的。第三，难以同时自动控制视觉系统和机器人操纵器两者。
在本公开中解决了上述问题和相关需求。
发明内容
在本公开的一种形式中，提供了一种自动化系统，所述自动化系统包括：操纵系统，所述操纵系统包括用于将对象移动到目标位置的操纵器；视觉系统，所述视觉系统用于检测所述对象和所述目标位置上的界标；以及学习和控制模块。所述视觉系统是可移动的。所述学习和控制模块被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。
在其他特征中，所述视觉系统包括至少一个可移动相机。所述至少一个可移动相机的位置和定向相对于所述操纵器是可独立控制的。所述学习和控制模块被配置为调整所述相机的所述视野使得当所述对象朝向所述目标位置移动时，所述对象与所述目标位置之间的距离在所述视野中最大。所述学习和控制模块被配置为控制所述操纵器，以在控制所述视觉系统的所述相机的移动和姿态的同时将所述对象更靠近所述目标位置移动，以在所述相机的所述视野中获得所述对象与所述目标位置之间的最大距离。
所述视觉系统安装在所述操纵系统上并且相对于所述操纵器可独立控制。所述学习和控制模块包括公共模块和多个输出模块。所述公共模块包括公共卷积网络并将预处理视觉数据输出到所述多个输出模块。所述输出模块中的一者是界标检测模块，所述界标检测模块输出所述界标的2D坐标。所述多个输出模块输出选自由以下各项组成的组的信息：所述对象的颜色、所述对象的形状、所述对象的部件类型、背景像素、所述相机的姿态以及所述相机与所述对象之间的距离。所述对象和所述目标位置是配合机器部件。所述操纵系统包括主机械臂和辅助机械臂。所述视觉系统安装到所述辅助机械臂。所述辅助机械臂可以包括一对内窥镜。
在本公开的另一形式中，提供了一种控制自动化系统的方法。所述方法包括：将对象移向目标位置；以及当所述对象朝向所述目标位置移动时，连续并同时移动相机并调整所述相机的姿态使得所述对象与所述目标位置之间的距离在所述相机的视野中最大。
在其他特征中，所述方法还可以包括捕获所述对象和所述目标位置的图像；获得所述对象和所述目标位置上的界标的坐标；独立于所述对象的所述移动来控制所述相机的所述移动和姿态；以及从捕获的图像中提取所述对象和所述目标位置上的界标的2D坐标，并基于从所述捕获的图像中提取的所述界标的所述2D坐标来移动所述对象，并且在捕获所述图像期间连续调整所述相机的姿态和移动。所述对象和所述目标位置是配合部件。
应当注意，在以下描述中单独阐述的特征可以通过任何技术上有利的方式彼此组合并且阐述本公开的其他变型。所述描述另外具体结合附图表征并具体描述了本公开。
根据本文提供的描述，进一步的应用领域将变得显而易见。应理解，这些描述和特定示例仅用于说明，而不意图限制本公开的范围。
附图说明
为了可以很好地理解本公开，现在将参考附图通过举例的方式描述本公开的各种形式，在附图中：
图1是根据本公开的教导构造的自动化系统的示意图；
图2是根据本公开的教导构造的自动化系统的变型的示意图；
图3是根据本公开的教导构造的自动化系统的学习和控制模块的框图；
图4A是图3的学习模块的框图；
图4B是图3的学习模块的变型的框图；并且
图5是根据本公开的教导的控制和操作自动化系统的方法的流程图。
本文所描述的附图仅用于说明的目的，而不意图以任何方式限制本公开的范围。
具体实施方式
以下描述本质上仅是示例性的，并且决不意图对本公开、其应用或用途进行限制。应理解，贯穿附图，对应的附图标号指示相同或对应的部分和特征。
在包括以下定义的本申请中，术语“模块”可以用术语“电路”替换。术语“模块”可指代以下项或是以下项的部分或包括以下项：专用集成电路(ASIC)；数字、模拟或混合式模拟/数字离散电路；数字、模拟或混合式模拟/数字集成电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器电路(共享、专用或成组)；存储由处理器电路执行的代码的存储器电路(共享、专用或成组)；提供所述功能性的其他合适的硬件部件；或某些或所有上述的组合，诸如在片上系统中。
模块可以包括一个或多个接口电路。在一些示例中，接口电路可以包括连接到局域网(LAN)、因特网、广域网(WAN)或其组合的有线或无线接口。本公开的任何给定模块的功能性可以分布在经由接口电路连接的多个模块中。例如，多个模块可以允许负载平衡。在另一示例中，服务器(又称为远程或云服务器)模块可以完成代表客户端模块的某些功能性。
参考图1，根据本公开的教导构造的自动化系统10包括操纵系统12、视觉系统14，以及用于控制和操作操纵系统12和视觉系统14的学习和控制模块16(图3中示出)。操纵系统12包括一个或多个主机械臂18，以及可枢转地连接到主机械臂18的操纵器20，诸如末端执行器。操纵系统12被配置为将诸如机器部件的对象移动到目标位置(包括配对机器部件)以便进行诸如交付任务或组装任务的各种应用。
在一种形式中，视觉系统14包括安装到机械臂24的至少一个相机22，所述机械臂可以是与操纵系统12分离的多关节常规机械臂。在另一种形式中，如图2中所示，视觉系统14'可以集成到操纵系统12中以形成集成的视觉和操纵系统24。视觉系统14'包括安装到辅助机械臂的至少一个相机22，所述辅助机械臂安装到主机械臂18。辅助机械臂具有多个自由度，使得可以独立于操纵器20来控制相机22，并且使得可以相对于操纵器20和相对于将要由操纵器20移动的对象来调整每个相机22的定向/姿态。相机22相对于操纵器20的定向/姿态以及相机22与操纵器20之间的距离可以独立于操纵器20来控制，以便获得对象和目标位置以及所述对象以及其上的界标的更好视图。
在示例性实施例中，辅助机械臂可以为内窥镜28的形式。两个(或更多个)内窥镜相机可以附接到内窥镜28的自由端。内窥镜28的自由端靠近操纵器20设置，使得当操纵器20操作对象时，相机22可以获得对象和目标位置以及所述对象和目标位置上的界标的更好视图。尽管视觉系统14'安装到操纵系统18，但是视觉系统14'和操纵器20具有它们自己的自由度和它们的致动机构，使得视觉系统14'可以改变其相对于被操纵对象的姿态以便找到最佳观察视角。
参考图3，学习和控制模块16被配置为基于对对抗制方案同时致动操纵系统12和视觉系统14、14'以控制操纵器20的移动以及相机22的移动和定向。更具体地，学习和控制模块16包括学习模块40、存储器42和对抗控制模块44。对抗控制模块44包括比较模块46、操纵系统控制模块48和视觉系统控制模块50。学习模块40处理由视觉系统14、14'捕获并从视觉系统发送的视觉数据。存储器42存储所需界标坐标。所需界标坐标是预定的并且可以通过实际测量获得的目标界标坐标。
参考图4A，在一种形式中，学习模块40包括用于界标检测的多任务深度学习方案。学习模块40包括公共模块60和多个输出模块62、64、66。多个输出模块包括界标检测模块62和多个辅助任务模块64、66，每个辅助任务模块包括神经网络。
公共模块60包括多层卷积网络68作为输入层以用于从视觉系统14、14'接收输入图像70(即，视觉数据)。公共模块60被配置为预处理视觉数据并将预处理视觉数据输出到多个输出模块62、64、66。公共模块60的卷积网络将卷积运算应用于输入(即，输入图像70)，并将结果传递到多个输出模块62、64、66。
多个输出模块62、64、66包括神经网络作为输出层，所述神经网络包括界标检测网络和辅助任务网络N-1、N。界标检测模块62和辅助任务模块64、66提供独立输出，并且各自负责唯一任务。多个输出网络是独立的(每个输出网络针对给定视觉感知任务的不同方面)，但是完全连接并相关以使得能够成功实施一项任务以提高其他输出模块的性能。
界标检测模块62以其最简单的形式使用关于相机22相对于对象的定向的学习信息而在给定图像输入中仅输出对象和对象的目标位置的图像中的界标的2D坐标。例如，学习模块40从相机接收捕获的图像作为训练数据。学习模块40通过多个输出模块62、64、66输出信息，包括但不限于部件类型、背景像素、部件距离、相对于相机的部件定向以及检测到的界标的2D坐标。在学习模块40的输出中，来自界标检测模块62的界标的2D坐标是被发送到对抗控制模块44的主要输出。辅助任务模块64、66的输出无法被直接使用，而是可以提供平台以将相关信息包含到公共模块60的多层卷积网络68中以获得更好性能。检测到的界标坐标可以用作检查或视觉伺服任务的一部分，包括组装机器部件或检测发动机线束上的松动连接。
公共模块60和所有输出模块的一个或多个神经网络可以是递归类型(RNN)，所述神经网络固有地包含当前输出信息的反馈以影响网络的未来行为。
下面描述在学习模块40中提供辅助输出模块64、66的优点。被供应给常规学习模块的训练数据仅包括具有已知界标位置的带注释图像。常规学习模块的网络可能易于过度拟合训练数据集，并且当相机相对于界标的定向与在训练集中观察到的定向不同时很容易混淆。为了解决这种限制，网络被配置为还通过辅助输出来学习相机相对于机器部件的定向，这迫使公共模块60的多层卷积网络68学习各种相机视角之间的差异。这种辅助训练阶段将附加信息包含到公共模块60的多层卷积网络68中，同时多个输出模块62、64、66使用公共模块60的输出来除了界标坐标之外还输出关于相机22的姿态的信息。因此，除了界标注释之外，训练数据集还增加了可用姿态信息。遵循类似方法，可以增加辅助任务模块64、66的数量，以便将其他可用的字段信息包含到公共模块60中并提高其泛化性能。
用于辅助任务的输出模块64、66的数量取决于用于训练和推理阶段的计算资源的可用性，因为更多的输出模块在计算上的要求更高。界标检测模块62是唯一感兴趣的输出。辅助任务模块64、66的输出在自动化系统10或24的正常操作期间可能不需要直接使用，而是可以用于包含其他可用信息以用于自动化系统10或24的初始机械设置以及自动化系统10或24的正常操作之前的机器学习阶段。包括不相关任务的目标是为了提高网络性能和界标检测的泛化能力。
示例性输出模块64、66可以执行除界标检测之外的辅助任务，包括但不限于部件类型检测、背景排除、部件定向检测、距离估计、运动速度检测、照明水平检测。例如，一个辅助输出模块的网络可以被配置为当发动机电缆与发动机罩之间存在重叠时学习区分属于发动机电缆的像素和与发动机罩相关联的像素，由此区分不同的机器部件。另一个辅助输出模块的网络可以被配置为学习丢弃与感兴趣的部件不相关的点，诸如恰好在背景的地板上的电缆。又另一个辅助输出模块的网络可以被配置为学习估计距相机的各个部件的距离，这有助于网络适应由于对象离相机太近或太远而导致的各个部件的尺寸变化。可以将与感兴趣的界标相关的任何其他信息包含到网络中以适应由于离相机太近或太远而导致的各个部件的尺寸变化。可以通过类似方式将与感兴趣的界标相关的任何其他信息包含到网络中以提高性能。
参考图4B，可选地并且在另一种形式中，除了使用输出模块64、66的输出之外，学习模块40'的变型类似于图4B的学习模块40。如所示，除界标检测模块62之外的所有输出模块64、66的输出都用作反馈并且与公共模块60的输出组合以形成界标检测模块62的输入。额外信息迫使公共模块60和界标检测模块62更有效地处理来自相机22的用于主要任务(即，用于视觉伺服的界标检测)的视觉数据。
在学习阶段中对学习模块40或40'进行适当训练之后，学习模块40或40'将提取的界标坐标输出并发送到对抗控制模块44，所述对抗控制模块控制和操作操纵系统12、18以执行操作所分配的任务，同时基于更新的界标坐标对抗性地控制视觉系统14、14'。
返回参考图3，对抗控制模块44包括比较模块46、操纵系统控制模块48和视觉系统控制模块50。比较模块46接收从学习模块40的界标检测模块62输出的界标坐标，以及从存储器42接收所需界标坐标，并且将当前界标坐标(基于由相机捕获的视觉数据确定)与所需界标坐标(即，通过实际测量预定的目标界标坐标)进行比较。基于这种比较，操纵系统控制模块48控制操纵系统12，并且视觉系统控制模块50基于对抗控制方案来控制视觉系统14、14'。
在由机械臂进行的组装任务中，控制目标是将配合部件上的某些配合界标彼此推向一起。例如，在电插座插入任务中，控制目标是使连接器的凸形部分的尖端与凹形配合部件内部的点之间的距离最小。凸形部分的尖端和凹形配合部件内部的点构成了配合界标。因此，对于组装任务，操纵系统12的目标是使配合界标彼此更靠近移动。对于交付任务，操纵系统12的目标是将对象上的感兴趣的界标移动到目标位置。
在本公开的对抗控制方案中，视觉系统14、14'的目标是找到在相机22的视野中实现配合界标(即，连接器的凸形部分与凹形部分)之间的最大距离的姿态。因此，视觉系统14、14'的目标与操纵系统12的操纵器20的目标相反。为了实现与所述目标的这种相反，在本发明的一个实施例中，对操纵系统12的目标的简单否定可以形成视觉系统14的目标。
更具体地，当操纵器20使配合界标彼此更靠近移动时，相机22移动和旋转以找到姿态使得配合界标之间的距离在相机的视野中最大。因为可以独立于操纵系统12来控制视觉系统14、14'，所以可以独立于操纵系统12来调整相机22的姿态和定向以允许更好地观察配合界标。通过调整相机22的姿态以在相机的视野中实现配合界标之间的最大距离，可以更好地揭示配合界标之间的剩余距离，由此更好地揭示可能的定位误差以及完成任务所需的附加移动。该过程一直持续到视觉系统14、14'和操纵系统12的两个目标都收敛到它们的最小值为止。换句话说，当配合界标彼此相遇(零距离)并且相机和操纵器20都不能再进一步降低其优化成本时，所述过程结束。相机和操纵器20都无法找到比当前位置更理想的位置，即，从相机视角来看界标之间的最大距离始终为零(无论姿态如何)，并且类似地，操纵器无法将界标再进一步推向彼此，因为它们已经相遇，并且任何附加的干扰都只能将它们彼此移开。
参考图5，示出了使用对抗控制方案来控制和操作自动化系统10的方法70的流程图。在步骤82中，视觉系统14、14'捕获对象和目标位置上的感兴趣界标的图像。将捕获的图像(即，视觉数据)发送到学习和控制模块以进行处理。在步骤84中，学习和控制模块的界标检测模块62从视觉数据中提取界标的2D坐标，并输出界标的2D坐标。在步骤86中，将预定的所需界标坐标存储在存储器42中。
将来自存储器42的所需界标坐标以及所提取的对象和目标位置的界标坐标发送到比较模块46，所述比较模块在步骤88中将所需界标坐标与所提取的界标坐标进行比较并确定对象的所需移动。在步骤90中，操纵系统控制模块基于所需移动来控制操纵器系统以移动对象。
另一方面，在本发明的一个实施例中，对抗控制模块在步骤92中否定操纵系统的目标并确定相机22的所需移动/姿态，以便允许配合界标在相机的视野中处于最大距离。基于该信息，视觉系统控制模块在步骤94中相应地调整相机的姿态。
总之，实施对抗控制方案以同时定位具有相反目标的操纵系统(特别是操纵器)和视觉系统(特别是相机)，因此命名为对抗。在本发明的一个实施例中，视觉系统的控制目标是操纵系统的控制目标的否定形式。在视觉伺服任务中，在视觉系统的图像空间中定义目标函数。因此，操纵系统控制模块控制操纵器以将对象更靠近目标位置移动。同时，视觉系统控制模块控制相机的姿态以获得对象与目标位置之间的距离最大的视图。在操纵系统的移动期间，视觉系统连续获取对象和目标位置的图像以进行界标检测并提取界标坐标。当配合界标彼此相遇并且相机和机器人操纵都无法再进一步降低其优化成本(即，由于界标与目标位置之间的距离全都为零，所以相机和机器人操纵都无法再实现任何进一步的改进)时，所述过程结束。
本公开的描述本质上仅是示例性的，因此，不脱离本公开的实质的变型意图落入本公开的范围内。不应将此类变化视为脱离本公开的精神和范围。
根据本发明，提供了一种自动化系统，所述自动化系统具有：操纵系统，其包括用于将对象移动到目标位置的操纵器；视觉系统，其用于检测所述对象和所述目标位置上的界标；以及学习和控制模块，其被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。
根据一个实施例，所述视觉系统是能够移动的，并且包括能够移动的至少一个相机，所述至少一个相机的位置和定向相对于所述操纵器是能够独立控制的。
根据一个实施例，所述学习和控制模块被配置为移动所述至少一个相机并改变所述至少一个相机的姿态以调整所述至少一个相机的所述视野。
根据一个实施例，移动所述至少一个相机，并且调整所述至少一个相机的所述姿态使得当所述对象朝向所述目标位置移动时，所述对象与所述目标位置之间的距离在所述视野中最大。
根据一个实施例，所述学习和控制模块被配置为控制所述操纵器，以在控制所述视觉系统的相机的移动和姿态的同时将所述对象更靠近所述目标位置移动，以在所述相机的所述视野中获得所述对象与所述目标位置之间的最大距离。
根据一个实施例，所述视觉系统安装在所述操纵系统上并且相对于所述操纵器可独立控制。
根据一个实施例，所述学习和控制模块包括公共模块和多个输出模块，所述公共模块包括公共卷积网络并且将预处理视觉数据输出到所述多个输出模块。
根据一个实施例，所述输出模块中的一者是界标检测模块，所述界标检测模块输出所述界标的2D坐标。
根据一个实施例，所述多个输出模块输出选自由以下各项组成的组的信息：所述对象的颜色、所述对象的形状、所述对象的部件类型、背景像素、所述相机的姿态以及所述相机与所述对象之间的距离。
根据一个实施例，所述对象和所述目标位置是配合机器部件。
根据一个实施例，所述操纵系统包括主机械臂和辅助机械臂，其中所述视觉系统安装到所述辅助机械臂。
根据一个实施例，所述辅助机械臂包括一对内窥镜。
根据本发明，一种控制自动化系统的方法包括：将对象移向目标位置；以及当所述对象朝向所述目标位置移动时，连续并同时移动相机并调整所述相机的姿态使得所述对象与所述目标位置之间的距离在所述相机的视野中最大。
根据一个实施例，上述发明的特征还在于捕获所述对象和所述目标位置的图像。
根据一个实施例，上述发明的特征还在于获得所述对象和所述目标位置上的界标的坐标。
根据一个实施例，上述发明的特征还在于，独立于所述对象的所述移动而控制所述相机的所述移动和所述姿态。
根据一个实施例，所述对象和所述目标位置是配合部件。
根据一个实施例，上述发明的特征还在于，从捕获的图像中提取所述对象和所述目标位置上的界标的2D坐标。
根据一个实施例，以上发明的特征还在于，基于从所述捕获的图像中提取的所述界标的所述2D坐标来移动所述对象。
根据一个实施例，以上发明的特征还在于，在捕获所述图像期间连续地调整所述相机的姿态和移动。

Claims (15)

1.一种自动化系统，其包括：
操纵系统，其包括用于将对象移动到目标位置的操纵器；
视觉系统，其用于检测所述对象和所述目标位置上的界标；以及
学习和控制模块，其被配置为控制所述操纵器的移动并独立于所述操纵器的所述移动而改变所述视觉系统的视野。
2.如权利要求1所述的自动化系统，其中所述视觉系统是能够移动的，并且包括能够移动的至少一个相机，所述至少一个相机的位置和定向相对于所述操纵器是能够独立控制的。
3.如权利要求2所述的自动化系统，其中所述学习和控制模块被配置为移动所述至少一个相机并改变所述至少一个相机的姿态以调整所述至少一个相机的所述视野，优选地调整所述至少一个相机的所述姿态使得当所述对象朝向所述目标位置移动时，所述对象与所述目标位置之间的距离在所述视野中最大。
4.如权利要求1所述的自动化系统，其中所述学习和控制模块被配置为控制所述操纵器，以在控制所述视觉系统的相机的移动和姿态的同时将所述对象更靠近所述目标位置移动，以在所述相机的所述视野中获得所述对象与所述目标位置之间的最大距离。
5.如权利要求1所述的自动化系统，其中所述学习和控制模块包括公共模块和多个输出模块，所述通用模块包括公共卷积网络并且将预处理视觉数据输出到所述多个输出模块。
6.如权利要求5所述的自动化系统，其中所述输出模块中的一者是界标检测模块，所述界标检测模块输出所述界标的2D坐标。
7.如权利要求5所述的自动化系统，其中所述多个输出模块输出选自由以下各项组成的组的信息：所述对象的颜色、所述对象的形状、所述对象的部件类型、背景像素、所述相机的姿态以及所述相机与所述对象之间的距离。
8.如权利要求1所述的自动化系统，其中所述操纵系统包括主机械臂和优选为一对内窥镜形式的辅助机械臂，其中所述视觉系统安装到所述辅助机械臂。
9.一种控制自动化系统的方法，其包括：
将对象朝向目标位置移动；以及
当所述对象朝向所述目标位置移动时，连续并同时移动相机并调整所述相机的姿态使得所述对象与所述目标位置之间的距离在所述相机的视野中最大。
10.如权利要求9所述的方法，其还包括捕获所述对象和所述目标位置的图像。
11.如权利要求9所述的方法，其还包括获得所述对象和所述目标位置上的界标的坐标。
12.如权利要求9所述的方法，其还包括独立于所述对象的所述移动而控制所述相机的所述移动和所述姿态。
13.如权利要求9所述的方法，其还包括从捕获的图像中提取所述对象和所述目标位置上的界标的2D坐标。
14.如权利要求13所述的方法，其还包括基于从所述捕获的图像中提取的所述界标的所述2D坐标来移动所述对象。
15.如权利要求9所述的方法，其还包括在捕获所述图像期间连续地调整所述相机的姿态和移动。
CN201911133264.3A 2018-11-21 2019-11-19 使用独立致动视觉系统的机器人操纵 Pending CN111203871A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/197,641 2018-11-21
US16/197,641 US10926416B2 (en) 2018-11-21 2018-11-21 Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture

Publications (1)

Publication Number Publication Date
CN111203871A true CN111203871A (zh) 2020-05-29

Family

ID=70545983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911133264.3A Pending CN111203871A (zh) 2018-11-21 2019-11-19 使用独立致动视觉系统的机器人操纵

Country Status (3)

Country Link
US (1) US10926416B2 (zh)
CN (1) CN111203871A (zh)
DE (1) DE102019131261A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116276886A (zh) * 2023-03-07 2023-06-23 中铁九局集团电务工程有限公司 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11173610B2 (en) * 2019-11-13 2021-11-16 Vicarious Fpc, Inc. Method and system for robot control using visual feedback
US11724396B2 (en) * 2020-04-23 2023-08-15 Flexiv Ltd. Goal-oriented control of a robotic arm
CN112536797A (zh) * 2020-12-01 2021-03-23 南京航空航天大学 一种工业机器人的位置与姿态误差综合补偿方法

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2919678C3 (de) * 1979-05-16 1983-03-24 Fa. Carl Zeiss, 7920 Heidenheim Zusatzobjektive für binokulare Operationsmikroskope
US5148591A (en) * 1981-05-11 1992-09-22 Sensor Adaptive Machines, Inc. Vision target based assembly
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
US4945493A (en) 1988-09-26 1990-07-31 Ford Motor Company Method and system for correcting a robot path
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
US5061995A (en) * 1990-08-27 1991-10-29 Welch Allyn, Inc. Apparatus and method for selecting fiber optic bundles in a borescope
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
US6633338B1 (en) * 1999-04-27 2003-10-14 Gsi Lumonics, Inc. Programmable illuminator for vision system
US6490369B1 (en) * 1999-07-06 2002-12-03 Fanuc Robotics North America Method of viewing and identifying a part for a robot manipulator
AU1763801A (en) * 1999-11-12 2001-06-06 Brian S. Armstrong Methods and appparatus for measuring orientation and distance
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CA2369845A1 (en) * 2002-01-31 2003-07-31 Braintech, Inc. Method and apparatus for single camera 3d vision guided robotics
WO2003064116A2 (en) * 2002-01-31 2003-08-07 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
JP3834297B2 (ja) * 2003-05-12 2006-10-18 ファナック株式会社 画像処理装置
JP4167940B2 (ja) * 2003-05-29 2008-10-22 ファナック株式会社 ロボットシステム
CA2573728A1 (en) * 2004-07-14 2006-02-23 Braintech Canada, Inc. Method and apparatus for machine-vision
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US20070276539A1 (en) * 2006-05-25 2007-11-29 Babak Habibi System and method of robotically engaging an object
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
US8556807B2 (en) * 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
US8634635B2 (en) * 2008-10-30 2014-01-21 Clever Sys, Inc. System and method for stereo-view multiple animal behavior characterization
US8085043B2 (en) * 2009-04-03 2011-12-27 Siemens Aktiengesellschaft Method for image data acquisition with a magnetic resonance device
US8244402B2 (en) * 2009-09-22 2012-08-14 GM Global Technology Operations LLC Visual perception system and method for a humanoid robot
EP2521507B1 (en) * 2010-01-08 2015-01-14 Koninklijke Philips N.V. Uncalibrated visual servoing using real-time velocity optimization
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN103153553B (zh) * 2010-08-27 2016-04-06 Abb研究有限公司 视觉引导对准系统和方法
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US20120249737A1 (en) * 2011-04-02 2012-10-04 Sandeep Sood Device for obtaining stereoscopic images from a conventional endoscope with single lens camera
US9259289B2 (en) * 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
EP3957229A1 (en) * 2012-07-13 2022-02-23 Steris Instrument Management Services, Inc. Stereo endoscope system
WO2014190208A2 (en) * 2013-05-22 2014-11-27 Neurala, Inc. Methods and apparatus for early sensory integration and robust acquisition of real world knowledge
CA2914631A1 (en) * 2013-06-05 2014-12-11 The Arizona Board Of Regents On Behalf Of The University Of Arizona Dual-view probe for illumination and imaging, and use thereof
CN104325268A (zh) 2014-11-04 2015-02-04 南京赫曼机器人自动化有限公司 一种基于智能学习的工业机器人三维空间自主装配方法
AU2015361139B2 (en) * 2014-12-09 2020-09-03 Biomet 3I, Llc Robotic device for dental surgery
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
US10012568B1 (en) * 2015-07-31 2018-07-03 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Biblade sampler
EP3353706A4 (en) * 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
US10362204B2 (en) * 2015-11-25 2019-07-23 General Tools & Instruments Illuminated object viewing and retrieving tool
US10966798B2 (en) * 2015-11-25 2021-04-06 Camplex, Inc. Surgical visualization systems and displays
US9815204B2 (en) 2016-01-22 2017-11-14 The Boeing Company Apparatus and method to optically locate workpiece for robotic operations
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
EP3414736B1 (en) * 2016-02-12 2020-08-12 Brainlab AG Method and system for registering a patient with a 3d image using a robot
US20170244904A1 (en) * 2016-02-18 2017-08-24 The Boeing Company Optical monitoring system and method for imaging a component under test
US10732643B2 (en) * 2016-04-07 2020-08-04 Hitachi, Ltd. Control system, moving object, and control apparatus
CN106094516A (zh) 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
US10723022B2 (en) * 2016-09-16 2020-07-28 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP2018161700A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、システム、情報処理方法、製造方法
CN107186708B (zh) 2017-04-25 2020-05-12 珠海智卓投资管理有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
US20190259150A1 (en) * 2018-02-20 2019-08-22 Walmart Apollo, Llc Autonomous marking system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116276886A (zh) * 2023-03-07 2023-06-23 中铁九局集团电务工程有限公司 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统
CN116276886B (zh) * 2023-03-07 2024-05-07 中铁九局集团电务工程有限公司 一种基于手眼分离的隧道打孔机器人孔位定位方法及系统

Also Published As

Publication number Publication date
US10926416B2 (en) 2021-02-23
DE102019131261A1 (de) 2020-05-28
US20200156255A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN111203871A (zh) 使用独立致动视觉系统的机器人操纵
JP6587761B2 (ja) 位置制御装置及び位置制御方法
CN109483573B (zh) 机器学习装置、机器人系统以及机器学习方法
US11173613B2 (en) Position control device and position control method
US8244402B2 (en) Visual perception system and method for a humanoid robot
US11312012B2 (en) Software compensated robotics
JP2009083095A (ja) ロボット装置の制御方法及びロボット装置
CN110463376B (zh) 一种插机方法及插机设备
CN111319039B (zh) 机器人
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
Henrich et al. Multi-camera collision detection between known and unknown objects
EP4192658A1 (en) Fine-grained industrial robotic assemblies
CN112135719B (zh) 机器学习装置以及具备该机器学习装置的机器人系统
Mohebbi et al. An eye-in-hand stereo visual servoing for tracking and catching moving objects
US20230267724A1 (en) Device and method for training a machine learning model for generating descriptor images for images of objects
Mohebbi et al. A comparative study of eye-in-hand image-based visual servoing: Stereo vs. mono
Takarics et al. Welding trajectory reconstruction based on the Intelligent Space concept
JP2022078979A (ja) 種々の姿勢状況の物体をピックアップするロボットを制御するための装置及び方法
Wang et al. Study on the Target Recognition and Location Technology of industrial Sorting Robot based on Machine Vision.
Mühlbauer et al. Mixture of experts on Riemannian manifolds for visual-servoing fixtures
Stroppa et al. Self-optimizing robot vision for online quality control
Mohebbi et al. An acceleration command approach to robotic stereo image-based visual servoing
Galassi et al. Cable detection and manipulation for dlo-in-hole assembly tasks
JP2024001876A (ja) 物体を操作するロボット、特に物体を受容するロボットを制御するための方法
WO2023165807A1 (en) Robot and method for controlling a robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination