CN109425297A - 测量方法、程序、测量装置和制造物品的方法 - Google Patents

测量方法、程序、测量装置和制造物品的方法 Download PDF

Info

Publication number
CN109425297A
CN109425297A CN201810977352.0A CN201810977352A CN109425297A CN 109425297 A CN109425297 A CN 109425297A CN 201810977352 A CN201810977352 A CN 201810977352A CN 109425297 A CN109425297 A CN 109425297A
Authority
CN
China
Prior art keywords
image
measurement method
processing
posture
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810977352.0A
Other languages
English (en)
Inventor
北村强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109425297A publication Critical patent/CN109425297A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Architecture (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

公开了测量方法、程序、测量装置和制造物品的方法。根据本发明的方面，测量方法测量物体的位置和姿势。该方法包括：第一计算步骤，处理作为第一处理对象的通过对物体成像而获得的第一图像；和第二计算步骤，通过基于第一计算步骤的结果处理作为第二处理对象的图像中的多个构成元件来确定物体的位置和姿势。第二处理对象与第一处理对象相关联。

Description

测量方法、程序、测量装置和制造物品的方法
技术领域
本发明涉及测量方法、程序、测量装置和制造物品的方法。
背景技术
具有被配置为夹持物体的夹持部分的机器人现在执行由人类完成的复杂任务(诸如工业产品的组装)。基于被配置为测量物体的布置(例如，位置和姿势)的测量装置的测量结果来控制夹持部分。
由机器人处理的物体的尺寸或材料是各种各样的。通常，在构成物体的多个构成元件中的每一个中存在加工精度的分布。另外，存在物体的位置或姿势在夹持部分夹持物体之前和之后未被确定的情况，或者在某些情况下整个物体不适配(fit)由测量装置使用的图像的情况。
存在一种测量装置，其通过两阶段测量方法以高的精度获取物体的布置，该两阶段测量方法通过处理物体的图像粗略地获取其布置并且通过基于所获取的布置进一步处理图像来精确地获取其布置。例如，日本专利特开No.2011-22991包括检测样本以及通过对所获取的图像使用预先学习的分类树执行投票来计算粗略位置和姿势。日本专利特开No.2011-27623包括通过校正位置和姿势使得工件的三维形状模型和所获取的图像适配来高精度地计算工件的位置和姿势。存在如下的装置，其通过对结果执行在日本专利特开No.2011-22991中的计算并执行在日本专利特开No.2011-27623中的计算来高精度地获取物体的布置。
在用于执行两阶段图像处理的测量装置中，重要的是组合在粗略获取布置时处理的图像中的物体部分和在精确获取布置时使用的物体部分。例如，当在图像中拍摄在粗略获取布置时处理的图像中的大部分物体部分时，假设已经计算了近似布置。然而，当在精确获取布置时使用的物体部分远离在粗略获取布置时处理的图像中的物体部分并且在图像中没有拍摄在精确获取布置时使用的物体部分时，不能高精度地估计布置。
在包括日本专利特开No.2015-199155的图像处理装置的现有图像处理装置中，单独的区域图像和处理装置是一一对应的。因此，即使在日本专利特开No.2011-22991的图像处理装置被用于测量装置中时，也不能灵活地设置经历粗略处理的部分和经历精确处理的部分的组合。考虑到上述情况，对于在获取一个粗略布置时使用的部分仅登记(register)在获取一个精确布置时使用的部分的事实导致了不便。
发明内容
本发明提出一种了在测量精度方面有利的测量装置。
根据本发明的一个方面，测量方法测量物体的位置和姿势。该方法包括：第一计算步骤，处理作为第一处理对象的通过对物体成像而获得的第一图像；和第二计算步骤，通过基于第一计算步骤的结果处理作为第二处理对象的图像中的多个构成元件来确定物体的位置和姿势。第二处理对象与第一处理对象相关联。
参考附图，根据示例性实施例的以下描述，本发明的其他特征将变得清楚。
附图说明
图1是示意性地示出了使用根据第一实施例的测量方法的测量装置的整体配置的示例并且示出了处理单元的主要配置的框图。
图2是示出了用作待检查物体的物体的示例的图。
图3是用于描述根据第一实施例的测量方法的流程图。
图4A至图4C是用于说明存储在图像存储单元中的图像的图。
图5是示出了第一处理对象的示例的图。
图6是示出了第一处理对象和第二处理对象之间的关系的示例的图。
图7是用于详细描述确定位置和姿势的流程图。
图8是示出了第一处理对象的示例的图。
图9是示出了第一处理对象和第二处理对象之间的关系的示例的图。
图10是示意性地示出了使用根据第三实施例的测量方法的测量装置的整体配置的示例并且示出了处理单元的主要配置的框图。
图11是示出了由显示单元显示信息的方法的第一示例的图。
图12是示出了由显示单元显示信息的方法的第二示例的图。
图13是示出了由显示单元显示信息的方法的第三示例的图。
图14是示出了由显示单元显示信息的方法的第四示例的图。
图15是示出了由显示单元显示信息的方法的第五示例的图。
图16是示出了包括夹持装置的控制系统的图，该夹持装置中包括测量装置。
具体实施方式
以下将参考附图等描述本发明的实施例。
(第一实施例)
(测量装置)
图1是示意性地示出了使用根据第一实施例的测量方法的测量装置100的整体配置的示例的框图，并且示出了处理单元120的主要配置。测量装置100包括图像获取单元110和处理单元120。
图像获取单元110捕获用作待检查物体的物体W的图像。由图像获取单元110捕获的图像被发送到设置在处理单元120内部的图像存储单元121。图像获取单元110包括例如投影单元(未示出)和成像单元(未示出)。投影单元将图案光投影到物体W上。应当注意，投影单元可以将图案光投影到物体W的一部分上，或者可以将均匀光而不是图案光投影到物体W上。当投影图案光时，投影单元包括图案生成单元(未示出)和投影光学系统(未示出)。
图案生成单元生成使用投影光学系统投影的图案光。图案光的示例包括周期性线图案(条纹图案)，其中由亮线形成的亮部和由暗线形成的暗部交替地布置。成像单元对其上投影了光的物体成像。
成像单元对其中投影了光的视场范围111内的物体W成像。成像单元包括成像光学系统(未示出)和成像元件(未示出)。成像单元通过经由成像光学系统使用成像元件接收从物体反射的光来获取图像。成像元件可以使用光学传感器，诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。成像元件可以是具有滤色器的成像元件或单色成像元件。
处理单元120使用计算机和电路实现根据该实施例的测量装置100的主算法的处理。处理单元120执行根据由成像单元捕获的图像获取物体W的精确位置和姿势(倾斜或朝向(aspect))的处理。处理单元120包括图像存储单元121、计算单元122和存储单元123。
图像存储单元121存储由图像获取单元110捕获的物体W的图像。存储单元123存储关于稍后将描述的计算的设置信息。使计算机执行根据实施例的测量方法的程序可以存储在存储单元123中。对于存储在图像存储单元121中的图像，计算单元122使用存储在存储单元123中的设置信息来获取物体W的位置和姿势。
在该实施例中，计算单元122使用包括第一计算和第二计算的两种类型的计算来处理图像，以获取物体W的位置和姿势。在该实施例中，第一计算包括估计物体W的近似位置和姿势。第二计算包括使用第一计算的结果(处理结果)获取物体W的具体位置和姿势。除此之外，可以在第一计算和第二计算中执行计算时间不同的两种类型的计算。
例如，通过匹配稍后将描述的学习信息和从由成像单元获取的图像获取的三维信息来估计第一计算。通过匹配物体W的模型信息或物体W的构成元件(部件、结构构件)和从由成像单元获取的图像获取的三维信息来执行第二计算。稍后将详细描述模型信息。在执行第二计算中的匹配时的物体W的初始位置使用第一计算中的近似位置和姿势结果。
图2是示出了用作待检查物体的物体的示例的图。物体W包括壳体201和多个构成元件202至205。壳体201通过模制树脂来制备。多个构成元件202至205被形成在壳体201的表面上。构成元件202由星号表示，构成元件203由圆圈表示，构成元件204由四边形表示，并且构成元件205由三角形表示。根据实施例的测量方法包括使用多个构成元件202至205测量物体W。稍后将描述其细节。
在该实施例中，多个构成元件202至205的可接受的制造精度是不同的。例如，当物体W被连接到其它个物体时，如果构成元件203和204被设置为用作连接部分的构成元件，则构成元件203和204的制造精度高于构成元件202和205的制造精度。
在根据该实施例的测量方法中，基于在由图像获取单元110获取的图像中构成物体W的第一部分(第一处理对象)来估计物体W的近似位置和姿势。此外，基于与估计结果相关联的多个第二处理对象和第一处理对象，图像中的物体被与模型信息进行匹配。比较针对多个第二处理对象获得的匹配结果，并确定物体W的具体位置和姿势。在与模型信息匹配时，使用包括在第二处理对象中的轮廓信息、壳体201的距离信息等。这里，第一和第二处理对象二者都可以被解释为物体W的一部分(相对特征部分)或者被解释为通过拍摄物体W而获得的图像的一部分(对应于图像的一部分)。
(测量方法)
图3是用于描述根据第一实施例的测量方法的流程图。每个流程主要由处理单元120中的每个部分执行。步骤S301和步骤S302到S304处于任意的顺序。也就是说，仅需要在步骤S305中计算位置和姿势之前执行这些处理。
首先，在步骤S301中，存储单元123存储学习信息和模型信息。学习信息是通过预先处理通过在多个方向(成像角度)上拍摄物体W而获得的多个图像所获得的信息。例如，使用物体W的先前创建的计算机辅助设计(CAD)模型来创建模型信息。
(在第一计算中使用的学习信息)
图4A至图4C是用于说明存储在图像存储单元121中的图像的图。在存储的图像中，假设以各种方式拍摄物体W。在该实施例中，假设物体W的尺寸约为成像单元中的视场范围111的两倍，并且物体W的位置和姿势高度不稳定。
图4A至图4C示出了视场范围111与物体W之间的相对关系的示例。实际上，视场范围与物体W的尺寸之间的相对关系也根据物体W的尺寸、测量装置100的规格或成像高度而改变。可能存在如图4A至图4C中所示的示例中那样的物体W的姿势的不定性。除此之外，在某些情况下可能存在垂直于地面的方向上的不定性。因此，对于在图像中拍摄的物体W的一部分，假设了非常大量的图案。
如图4A至图4C所示，该实施例中的物体W大于视场范围，并因此整个物体W不落在视场范围内。在存储在图像存储单元121中的图像中没有捕获整个物体W，而捕获了最大一半的物体W。因此，在第一计算中，期望使用从接近不是整个物体W并且在任意图像中被捕获的部分的部分获得的学习信息。
参照回图3，在步骤S302中，用户选择(确定)要进行第一计算的第一处理对象。图5是示出了第一处理对象(要确定的物体)的示例的图。在该实施例中，将第一部分51和与第一部分51不同的第二部分52设置为第一处理对象。所选择的部分被存储在存储单元123中。假设当测量物体W时，期望任何所选部分具有在视场中拍摄的大的部分。
在步骤S303中，用户选择第二处理对象。第二处理对象可以包括或不包括包含任何第一处理对象的任何构成元件。在该实施例中，第二处理对象包括与第二处理对象相关联的第一处理对象中包括的构成元件。在第二计算中，需要以比第一计算中高的精度执行测量。如上所述，通过匹配物体W的模型信息和从由图像获取单元110获取的图像获得的轮廓信息或三维信息来执行第二计算。然而，当构成物体W的构成元件的制造精度低时，则与模型信息的偏差增加，并因此第二计算的精度劣化。
因此，期望对具有高制造精度的物体W的构成元件执行第二计算。在该实施例中，如上所述，构成元件203和204的制造精度高于其他构成元件的制造精度。因此，优选地对构成元件203或204执行第二计算。这里，由于在某些情况下还存在构成元件203和204不包括在图像中的情况，所以可以选择其它构成元件作为第二计算中使用的物体。所选择的构成元件被存储在存储单元123中。
图6中示出了在步骤S302中存储的第一处理对象与在步骤S303中存储的第二处理对象之间的关系的示例。在第一计算中使用的第一处理对象和在第二计算中使用的第二处理对象被设置为一组，并且四组计算设置被存储在存储单元123中。也就是说，可以提供其中使用第一部分51执行第一计算和使用包括构成元件202或203的第二处理对象执行第二计算的两组。此外，可以提供其中使用第二部分52执行第一计算和使用包括构成元件202或204的第二处理对象执行第二计算的两组。在步骤S304中将每组存储为设置信息。在步骤S304之后，在步骤S305中执行位置和姿势的计算。
(位置和姿势的计算)
图7是用于详细描述图3中所示的步骤S305的流程图。首先，在步骤S701中，用户从存储单元123中选择用于测量的计算设置。这里，基于在实际测量期间假设的观察图像中的物体W的方式来确定所述选择。在该实施例中，假设选择图6中所示的四组计算设置。在步骤S702中，图像获取单元110获取物体W的图像并将图像存储在图像存储单元121中。
计算单元122基于在步骤S701中获取的设置信息在步骤S703中执行第一计算，并且然后在步骤S704中执行第二计算。应当注意，可以在步骤S703和步骤S704之间提供确定是否使用在步骤S701中选择的计算设置中的任一个的步骤。也就是说，可以基于步骤S703中的第一计算的结果来选择在步骤S704中的第二计算中使用的部分，使得使用所选择的部分执行步骤S704中的第二计算。例如，如果根据步骤S703中的第一计算的结果确定在使用第一部分51的情况下的位置和姿势的估计精度高于使用第二部分52的情况的估计精度，则可以使用与第一部分51相关联的第二处理对象的构成元件202和203来执行第二计算。
在步骤S705中，计算单元122基于指示通过第二计算计算出的、图像与模型信息的匹配(匹配度、一致率)的得分(匹配结果)来确定物体W的位置和姿势。根据该实施例中的设置，由于使用构成元件202或203来执行第二计算，因此匹配结果的数量是两个。计算单元122使用两个匹配结果之间的更大匹配的结果来确定位置和姿势。
根据该实施例中的测量装置100，可以灵活地设置要进行第一计算的部分和要进行第二计算的部分的组合。因此，测量装置100例如在测量可用性和测量精度方面是有利的，而不管物体W的成像部分如何。此外，测量装置100在计算时间和处理数量方面也是有利的。
(第二实施例)
在第一实施例中，假设在第一计算中可以使用的多个部分之间没有重复的构成元件。然而，在一些情况下，也可以在可在第一计算中使用的多个部分之间提供公共的构成元件。
例如，可以考虑如下的情况：作为图2中所示的物体W的第一处理对象用三种类型指代，即，可以考虑像图8中的第一部分81、第二部分82和第三部分83。如图8所示，第一部分81包括构成元件202和203，并且第二部分82包括相对于第一部分81的公共的构成元件203以及构成元件204和205。第三部分83也包括公共的构成元件。
该实施例的特征在于每个第一处理对象包括公共的第二处理对象。应注意，装置配置和测量流程与第一实施例中的相同。
图9是示出了第一处理对象和第二处理对象之间的关系的示例的图。在第一计算中使用的第一处理对象和在第二计算中使用的第二处理对象被设置为一组，并且六组计算设置被存储在存储单元123中。也就是说，首先，可以提供其中使用第一部分81执行第一计算和使用包括构成元件202或203的第二处理对象执行第二计算的两组。此外，可以提供其中使用第二部分82执行第一计算和使用包括构成元件203或204的第二处理对象执行第二计算的两组。另外，可以提供其中使用第三部分83执行第一计算和使用包括构成元件202或204的第二处理对象执行第二计算的两组。通过该实施例也可以获得与第一实施例中相同的效果。
(第三实施例)
根据第三实施例的测量方法具有关于存储设置信息的方法的特征。该实施例的特征在于，当设置信息被存储在存储单元123中时，以逐步(stepwise)方式在不同定时处指定第一处理对象和第二处理对象。
图10是示意性地示出了使用根据第三实施例的测量方法的测量装置300的整体配置的示例的框图，并且示出了处理单元120的主要配置。与第一实施例的构成元件相同的构成元件将用相同的附图标记表示，并且将省略其描述。根据该实施例的测量装置300包括显示单元301和输入单元302。
显示单元301被连接到处理单元120。输入单元302被连接到显示单元301。例如，显示单元301显示在于存储单元123中存储设置信息时所需的信息。用户通过输入单元302给出对显示信息的指令。显示单元301基于来自输入单元302的输出将设置信息存储在存储单元123中。
图11是示出了由显示单元301显示信息的方法的第一示例的图。该示例示出了图9中所示的设置信息。如图11所示，通过选择复选框来选择要指定的第一处理对象。此外，通过选择复选框来选择与第一处理对象相关联的第二处理对象。
在显示单元301的上部，如图9所示，通过选择对应于图11的复选框来选择其中使用第一部分81执行第一计算和使用包括构成元件202或203的第二处理对象执行第二计算的两组。在显示单元301的下部，根据勾选的组合显示在两个计算中使用的部分的组合。因此，用户可以检查是否已经提供了期望的设置。
图12是示出了显示单元301显示信息的方法的第二示例的图。如图12所示，可以以下拉方式指定第一处理对象，使得第二处理对象显示在以这种方式选择的部分的列表中，并使用复选框来选择。由于在图12的显示单元301的同一画面上显示其中显示第一处理对象的选择结果的区域、其中显示第二处理对象的选择结果的区域和其中显示其组合的区域，因此减小了显示空间。
图13是示出了显示单元301显示信息的方法的第三示例的图。如图13所示，在任一窗口中登记一个计算设置。当该计算设置和已经在其它个窗口中登记的计算设置的组合被设置时，登记其中执行两个计算的组合。
图13左侧所示的窗口是被配置为登记计算设置的窗口，并且通过以下拉方式选择要估计的一个物体、选择用于匹配物体的复选框并按下登记按钮来登记计算设置。登记的计算设置被显示在图13右侧所示的窗口的列表中。当在列表中选择一个计算设置时，计算设置的细节在计算设置信息列中被示出。
此外，通过选择列表中的复选框指定的设置的所有组合都被显示在计算组合列中。通过选择复选框指定的设置被设置为在计算中实际使用的计算设置，并因此用于执行计算的组合(设置信息)被存储。
当使用图13中的显示单元301时，如果在确定设置信息之前预先设置第一计算中使用的部分和第二计算中使用的部分的组合，则在确定设置信息时简单地通过选择第一计算中使用的部分来完成设置操作。也就是说，一旦登记了计算设置，当在不同情况下测量相同的待检查物体时，可以指定计算设置而不用再次执行计算设置的设置。
图14是示出了由显示单元301显示信息的方法的第四示例的图。图14中所示的显示单元301显示了可以以矩阵选择的第一处理对象和第二处理对象。根据该显示方法，可以通过单个操作(一个操作)确定设置信息的组合。
图15是示出了显示单元301显示信息的方法的第五示例的图。图15中示出的显示单元301显示了可以在两行中选择的第一处理对象和第二处理对象。所选择的设置信息的组合由实线表示，未选择的设置信息的组合由虚线表示。根据该显示方法，可以在一个画面上确定设置信息的组合。
此外，例如，第一处理对象和第二处理对象表示的物体W的部分可以通过CAD数据被显示在显示单元301上并且可以指示诸如根据设置条件执行的计算的数量之类的附加信息。因此，改善了用户执行设置时的便利性。
此外，可以在显示上述画面之前在一定程度上对与第一处理对象相关联的第二处理对象进行分类，可以在已经选择了第一处理对象时显示已分类的第二处理对象，并且可以登记其中的任何一个。在图9的示例中，当使用第一部分81执行第一计算时，由于不使用包括构成元件204的第二处理对象执行第二计算，所以包括构成元件204的第二处理对象被预先设置为排除的构成元件。在这种情况下，例如，当在图12所示的显示单元301中选择第一部分81时，仅显示包括构成元件202和203的第二处理对象。可替代地，不能选择包括构成元件204的第二处理对象的复选框。因此，由于不显示明显不必要的组合，因此可以防止错误地设置明显不必要的组合。
应当注意，可以通过命令等的电子消息来指定在显示单元301上指示的信息的输入。
(与制造物品的方法有关的实施例)
可以在由特定支撑构件支撑的同时使用上述测量装置。在该实施例中，例如，将描述像在图16中的机器人臂180(夹持装置)中提供和使用的控制系统。测量装置100将图案光投影到放置在支撑基座T上的物体W上、捕获物体W的图像并获取图像。此外，测量装置100的控制器(未示出)或已获取从测量装置100的控制器(未示出)输出的图像数据的臂控制器181获取物体的位置和姿势，并且臂控制器181获取有关所获取的位置和姿势的信息。臂控制器181基于关于位置和姿势的信息(测量结果)向机器人臂180发送驱动命令并控制机器人臂180。机器人臂180通过在其远端处的机器人手等(夹持部分)保持物体W，并且使物体W执行诸如平移或旋转之类的运动。另外，当物体W通过机器人臂180与其它部分附接(组装)时，可以制造由多个部件构成的物品，例如电子电路板、机器等。此外，当移动物体W被加工(处理)时，可以制造物品。臂控制器181包括诸如中央处理单元(CPU)之类的计算设备和诸如存储器之类的存储设备。应当注意，可以在臂控制器181的外部提供被配置为控制机器人的控制器。此外，可以在诸如显示器之类的显示单元101上显示来自测量装置100的测量的测量数据和所获得的图像。
注意，虽然在本实施例中使用具有不同细化度的计算作为用于估计位置和姿势的多个计算方法，但是计算可以是具有不同计算速度的计算。此外，在第二计算中，不同的组成元件(例如，组成元件203和204)可以被选择作为一组。
(其他实施例)
虽然上面已经描述了本发明的实施例，但是本发明不限于这些实施例，并且在不脱离本发明的主旨的情况下可以进行各种修改。
虽然已经参考示例性实施例描述了本发明，但是应该理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最广泛的解释，以包含所有这些修改和等同的结构和功能。
本申请要求于2017年8月30日提交的日本专利申请No.2017-165323的权益，其全部内容通过引用包含于此。

Claims (17)

1.一种测量物体的位置和姿势的测量方法，其特征在于，所述方法包括：
第一计算步骤，处理作为第一处理对象的通过对物体成像而获得的第一图像；和
第二计算步骤，通过基于第一计算步骤的结果处理作为第二处理对象的图像中的多个构成元件来确定物体的位置和姿势，
其中第二处理对象与第一处理对象相关联。
2.根据权利要求1所述的测量方法，其中，在第一计算步骤中，处理作为第一处理对象的、第一图像和通过对物体成像而获得的第二图像，并且
第一图像和第二图像两者都包括所述多个构成元件。
3.根据权利要求2所述的测量方法，其中，对在第一图像和第二图像中的一个中拍摄的所述多个构成元件执行第二计算步骤。
4.根据权利要求1所述的测量方法，其中，第一计算步骤是通过将第一图像与先前获取的学习信息进行匹配来估计物体的位置和姿势的步骤。
5.根据权利要求4所述的测量方法，其中，学习信息包括通过以多个成像角度对物体成像而获得的多个图像。
6.根据权利要求4所述的测量方法，其中，第二计算步骤是通过将所述多个构成元件与先前创建的模型信息进行匹配来确定物体的位置和姿势的步骤。
7.根据权利要求6所述的测量方法，其中，模型信息包括物体的计算机辅助设计CAD模型。
8.根据权利要求1所述的测量方法，其中，所述多个构成元件是在第一图像中包括的所有构成元件之中的、在第二计算步骤中获得最高精度的构成元件。
9.根据权利要求1所述的测量方法，还包括：
存储步骤，存储物体的多个部分与其中第二计算步骤能有效地在所述多个部分中的每一个上执行的构成元件之间的关系。
10.根据权利要求9所述的测量方法，其中，第一图像是通过对所述多个部分中的一个部分进行成像而获得的图像，并且
第一处理对象和第二处理对象是在第一计算步骤之前基于所述关系确定的。
11.根据权利要求10所述的测量方法，其中，在确定第一处理对象之后确定第二处理对象。
12.根据权利要求10所述的测量方法，其中，第二处理对象基于所述关系预先与第一处理对象相关联，并且
通过选择第一处理对象来选择第二处理对象。
13.一种非暂时性存储介质，其特征在于，在所述非暂时性存储介质上存储有用于使计算机执行根据权利要求1所述的测量方法的计算机程序。
14.一种测量物体的位置和姿势的测量装置，其特征在于，所述装置包括：
存储器；和
处理单元，基于存储在存储器中的程序进行操作，
其中处理单元包括：
第一计算单元，处理作为第一处理对象的通过对物体成像而获得的第一图像；和
第二计算单元，通过基于第一计算单元的计算结果处理作为第二处理对象的第一图像中的多个构成元件来确定物体的位置和姿势，
其中第二处理对象与第一处理对象相关联。
15.根据权利要求14所述的测量装置，其中，处理单元还包括显示单元，显示单元同时显示第一区域、第二区域和第三区域，
第一区域包括其中显示的第一处理对象的选择结果，
第二区域包括其中显示的第二处理对象的选择结果，
第三区域包括其中显示的第一处理对象和第二处理对象的组合。
16.一种系统，其特征在于，包括：
测量装置，测量物体的位置和姿势；和
机器人，保持并移动物体，
其中测量装置是根据权利要求14所述的装置，并且
机器人基于由测量装置测量的物体的位置和姿势来保持物体。
17.一种制造物品的方法，其特征在于，包括：
使用根据权利要求14所述的测量装置测量物体的步骤；和
通过基于测量结果处理物体来制造物品的步骤。
CN201810977352.0A 2017-08-30 2018-08-27 测量方法、程序、测量装置和制造物品的方法 Pending CN109425297A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017165323A JP2019045177A (ja) 2017-08-30 2017-08-30 計測方法、プログラム、計測装置、システムおよび、物品の製造方法
JP2017-165323 2017-08-30

Publications (1)

Publication Number Publication Date
CN109425297A true CN109425297A (zh) 2019-03-05

Family

ID=65436894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810977352.0A Pending CN109425297A (zh) 2017-08-30 2018-08-27 测量方法、程序、测量装置和制造物品的方法

Country Status (3)

Country Link
US (1) US20190061152A1 (zh)
JP (1) JP2019045177A (zh)
CN (1) CN109425297A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1286779A (zh) * 1998-09-28 2001-03-07 索尼株式会社 信息记录装置及其方法、测量装置及其方法、信息处理装置及其方法、信息处理系统及信息提供媒体
JP3277105B2 (ja) * 1995-09-08 2002-04-22 株式会社アイネス 部分立体モデルの作成方法及び装置
CN1466673A (zh) * 2000-09-22 2004-01-07 �����ɷ� 借助坐标测量仪测量物体几何形状的方法
CN1769838A (zh) * 2004-10-26 2006-05-10 株式会社米姿托约 用于高精确机器视觉计量术的过滤图像的方法
US20080298672A1 (en) * 2007-05-29 2008-12-04 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20100259537A1 (en) * 2007-10-12 2010-10-14 Mvtec Software Gmbh Computer vision cad models
CN101976341A (zh) * 2010-08-27 2011-02-16 中国科学院自动化研究所 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277105B2 (ja) * 1995-09-08 2002-04-22 株式会社アイネス 部分立体モデルの作成方法及び装置
CN1286779A (zh) * 1998-09-28 2001-03-07 索尼株式会社 信息记录装置及其方法、测量装置及其方法、信息处理装置及其方法、信息处理系统及信息提供媒体
CN1466673A (zh) * 2000-09-22 2004-01-07 �����ɷ� 借助坐标测量仪测量物体几何形状的方法
CN1769838A (zh) * 2004-10-26 2006-05-10 株式会社米姿托约 用于高精确机器视觉计量术的过滤图像的方法
US20080298672A1 (en) * 2007-05-29 2008-12-04 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20100259537A1 (en) * 2007-10-12 2010-10-14 Mvtec Software Gmbh Computer vision cad models
CN101976341A (zh) * 2010-08-27 2011-02-16 中国科学院自动化研究所 一种从交通图像中检测车辆位置、姿态和三维轮廓的方法

Also Published As

Publication number Publication date
US20190061152A1 (en) 2019-02-28
JP2019045177A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
US9672630B2 (en) Contour line measurement apparatus and robot system
KR101819730B1 (ko) 3차원 객체 검출 및 자세추정 방법
CN105426901B (zh) 用于对摄像头视野中的已知物体进行分类的方法
CN108297095A (zh) 校准装置、校准方法以及计算机能够读取的介质
JP6740033B2 (ja) 情報処理装置、計測システム、情報処理方法及びプログラム
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
CN108453701A (zh) 控制机器人的方法、示教机器人的方法和机器人系统
CN108297096A (zh) 校准装置、校准方法以及计算机能够读取的介质
JP6331517B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
KR20200091298A (ko) 핸드 아이 캘리브레이션 방법 및 시스템
CN109382821A (zh) 校准方法、校准系统及程序
KR20170053585A (ko) 로봇 제어 장치 및 로봇 제어 방법
CN103302666A (zh) 信息处理设备和信息处理方法
US20110235898A1 (en) Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
WO2014100950A1 (en) Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
CN112809668B (zh) 一种机械臂自动手眼标定的方法及系统、终端
CA3061920A1 (en) Methods and systems for evaluating a size of a garment
US11989928B2 (en) Image processing system
CN105912117A (zh) 运动状态捕捉方法和系统
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
JP7179439B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109425297A (zh) 测量方法、程序、测量装置和制造物品的方法
JP2009216480A (ja) 三次元位置姿勢計測方法および装置
CN111199533A (zh) 图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190305

WD01 Invention patent application deemed withdrawn after publication