CN108731589A - 测量装置、处理装置以及物品制造方法 - Google Patents

测量装置、处理装置以及物品制造方法 Download PDF

Info

Publication number
CN108731589A
CN108731589A CN201810194835.3A CN201810194835A CN108731589A CN 108731589 A CN108731589 A CN 108731589A CN 201810194835 A CN201810194835 A CN 201810194835A CN 108731589 A CN108731589 A CN 108731589A
Authority
CN
China
Prior art keywords
measuring
luminaire
controller
illumination
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810194835.3A
Other languages
English (en)
Inventor
打田平
打田一平
柳泽通雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108731589A publication Critical patent/CN108731589A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供测量装置、处理装置以及物品制造方法。用于测量物体的位置的测量装置包括：照明器，其被配置为照明物体；摄像装置，其被配置为拍摄通过所述照明器照明的物体；计算器，其被配置为基于通过所述摄像装置获得的图像来获得物体的位置；以及控制器，其被配置为控制所述照明器和所述摄像装置。所述控制器输出指示根据测量时间段而确定的定时的定时信息，所述测量时间段是用于使所述照明器照明物体的照明时间段和用于使所述摄像装置拍摄物体的摄像时间段的重叠时间段。

Description

测量装置、处理装置以及物品制造方法
技术领域
本发明涉及测量装置、处理装置以及物品制造方法。
背景技术
近年来，在制造各种物品的步骤中，机器人替代进行传统上由人完成的作业的一部分。例如，存在如下技术：具有用于生成图案光的照明器和摄像装置的传感器被安装在机器人手的末端，并且在操作机器人手的同时，基于由传感器获得的部件的图像，来估计部件的位置。在该技术中，传感器测量物品(部件)在传感器的局部坐标系(下文中称为传感器坐标系)中的位置和姿态。然后，基于物品在传感器坐标系中的位置和姿态以及传感器在全局坐标系(下文中称为机器人坐标系)中的位置和姿态，能够测量物品在机器人坐标系中的位置和姿态。因此，需要通过传感器测量物体的位置和姿态，同时获得传感器的位置和姿态。
日本特许第5740649号公报和日本特开2012-168135号公报各自公开了如下图像测量单元，其基于在改变用于拍摄物体的摄像装置的焦点位置的同时所拍摄的多个图像信息，来进行对比度AF搜索。日本特许第5740649号公报中公开的图像测量装置获得摄像定时与焦点位置获得定时之间的偏移量，并基于该偏移量来校正焦点位置。日本特开2012-168135号公报中公开的图像测量装置基于从摄像单元和用于控制焦点位置的位置控制单元中的一者向另一者输出的触发信号，来获得焦点位置。
利用基于在使用照明器照明物体的同时由摄像装置拍摄的图像来测量物体的位置的测量装置，难以使用于使照明器照明物体的照明时间段与用于使摄像装置拍摄物体的摄像时间段一致。这是因为，照明器的响应性与摄像装置的响应性不同。当照明时间段与摄像时间段不一致时，如果根据其中一个时间段来确定用于获得传感器的位置和姿态的定时，则在测量装置测量物体的定时与获得传感器的位置和姿态的定时之间产生同步误差。如果存在这种同步误差，则无法精确地掌握物体在机器人坐标系中的位置。日本特许第5740649号公报和日本特开2012-168135号公报没有假定产生这种同步误差。
发明内容
本发明提供了有利于降低同步误差的技术。
本发明的第一方面提供了一种测量装置，用于测量物体的位置，所述测量装置包括：照明器，其被配置为对所述物体进行照明；摄像装置，其被配置为拍摄所述照明器所照明的物体；计算器，其被配置为基于所述摄像装置所获得的图像来获得所述物体的位置；以及控制器，其被配置为控制所述照明器和所述摄像装置，其中，所述控制器输出指示根据测量时间段所确定的定时的定时信息，所述测量时间段是用于使所述照明器对所述物体进行照明的照明时间段和用于使所述摄像装置拍摄所述物体的摄像时间段的重叠时间段。
本发明的第二方面提供了一种处理装置，包括：具有手部的机器人；机器人控制器，其被配置为控制所述机器人；以及如本发明的第一方面定义的测量装置，其中，所述测量装置的照明器和摄像装置安装到所述手部，并且所述机器人控制器基于所述测量装置的测量结果来控制所述机器人。
本发明的第三方面提供了一种物品制造方法，所述物品制造方法在基于如本发明的第一方面定义的测量装置的测量结果来操作安装有所述测量装置的机器人的同时制造物品，所述物品制造方法包括：测量步骤，用于通过所述测量装置测量物体的位置；以及基于所述测量步骤中所获得的位置来控制所述机器人。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明的实施例的处理装置的布置的图；
图2是示出根据本发明的第一实施例的处理装置的布置的框图；
图3是示出根据本发明的第一实施例的处理装置的操作的时序图；
图4是示出根据本发明的第二实施例的处理装置的操作的时序图；
图5是示出根据本发明的第三实施例的处理装置的布置的框图；
图6是示出根据本发明的第三实施例的处理装置的操作的时序图；
图7是示出根据本发明的第四实施例的处理装置的布置的框图；
图8是示出根据本发明的第四实施例的处理装置的操作的时序图；
图9是示出根据本发明的第五实施例的处理装置的布置的框图；
图10是示出根据本发明的第六实施例的处理装置的布置的框图；
图11是示出根据本发明的第六实施例的处理装置的一个操作的流程图；并且
图12是示出根据本发明的第六实施例的处理装置的另一操作的流程图。
具体实施方式
下面将参照附图描述本发明的示例性实施例。
[第一实施例]
图1示出了根据本发明的实施例的处理装置1的布置。处理装置1识别物体500并对其进行处理。对物体500的处理包括例如保持(例如抓取)物体500、操作(例如移动或旋转)物体500、检查物体500、将物体500固定到其他物体或以物理方式或化学方式改变物体500。
处理装置1可以包括用于测量物体500的测量装置700、以及用于基于测量装置700的测量结果来处理物体500的机器人系统800。测量装置700可以包括传感器100和用于控制传感器100并处理从传感器100提供的信息的计算机200(计算器)。计算机200的全部或部分功能可以包含在传感器100中。物体500的测量可以包括例如测量物体500的位置或者测量物体500的位置和姿态(例如，朝向、方位、方向或倾斜)。机器人系统800可以包括具有用于处理物体500的手部310的机器人300、以及用于控制机器人300的机器人控制装置400。
可以将传感器100固定到机器人300的手部310。例如，机器人300可以相对于多个轴(例如，六个轴)操作手部310，并且相对于多个轴(六个轴)操作由手部310保持的物体500。机器人300可以包括用于输出手部310的多个轴的控制量的编码器。来自编码器的输出可以被机器人控制装置400用来控制机器人300的手部310并且用于获得传感器100的位置和姿态。
测量装置700生成物体500的距离图像(range image)，并基于距离图像生成物体500上的三维点组的坐标数据。测量装置700生成物体500的距离图像，然后对距离图像进行模型拟合，从而检测物体500的位置和姿态。测量装置700生成物体500的灰度图像，然后对灰度图像进行模型拟合，从而检测物体500的位置和姿态。可选地，测量装置700生成物体500的距离图像和灰度图像，并且基于距离图像和灰度图像二者来检测物体500的位置和姿态。注意，如果不需要检测物体500的姿态，则测量装置700可以被配置为仅检测物体500的位置。
距离图像例如具有基于三角测量原理从拍摄图像计算出的距离值，该拍摄图像是通过传感器100的摄像装置拍摄用来自传感器100的照明器的图案光照明的物体500而获得的。该方法被称为主动立体方法。距离图像可以从一个拍摄图像生成或基于同时拍摄的多个图像生成。作为基于一个拍摄图像生成距离图像的方法，例如，提供了一种用于将编码的点线图案投影到物体500上并拍摄物体500的方法。
传感器100可以基于由传感器100拍摄的图像来测量物体500在传感器坐标系中的位置和姿态。机器人系统800可以获得传感器100在机器人坐标系中的位置和姿态。使用表示物体500在传感器坐标系中的位置和姿态的矩阵TrWS和表示传感器100在机器人坐标系中的位置和姿态的矩阵TrSR，可以通过如下等式来计算表示物体500在机器人坐标系中的位置和姿态的矩阵TrWR：
TrWR＝TrWS×TrSR (1)
传感器100可以经由安装器(mounter)等安装到机器人300的手部310的末端。因此，当TrSM表示传感器100在安装器坐标系中的位置和姿态并且TrMR表示安装器在机器人坐标系中的位置和姿态时，等式(1)中的TrSR等于TrSM和TrMR的乘积。也就是说，可以使用TrSM和TrMR，通过如下等式来计算表示物体500在机器人坐标系中的位置和姿态的矩阵TrWR：
TrWR＝TrWS×TrSM×TrMR (2)
注意，可以通过在安装传感器100时进行的校准，来了解传感器100与安装器之间的位置关系。此外，可以基于来自编码器的关于机器人300的各轴的输出，来了解安装器在机器人坐标系中的位置和姿态。可以通过计算机200、传感器100或机器人控制装置400来执行等式(1)或(2)的计算。
在处理装置1中，当机器人300通过移动手部310使传感器100相对于物体500移动时，传感器100拍摄物体500。计算机200基于由传感器100拍摄的图像来检测物体500在传感器坐标系中的位置和姿态。另一方面，机器人控制装置400基于来自机器人300的编码器的输出，来获得传感器100在机器人坐标系中的位置和姿态。机器人控制装置400可以基于传感器100在机器人坐标系中的位置和姿态以及物体500在传感器坐标系中的位置和姿态，来计算物体500在机器人坐标系中的位置和姿态。基于物体500在机器人坐标系中的位置和姿态，机器人控制装置400控制机器人300拾取物体500。
在传感器100中，照明器用图案光照明物体500，并且摄像装置拍摄图案光。传感器100将拍摄的图像提供给计算机200，并且计算机200可以通过处理提供的图像来生成距离图像，并且基于距离图像计算物体500的位置和姿态。在该方法中，作为用于使传感器100的照明器照明物体500的照明时间段和用于使摄像装置拍摄物体500的摄像时间段彼此重叠的时间段的测量时间段(重叠时间段)用于在测量装置700中对物体500的测量。也就是说，在测量时间段中，对入射到摄像装置的各像素的光电转换器的图案光进行光电转换，由此累积生成的电荷。如果当前时间落在摄像时间段内但在照明时间段之外，则不对图案光进行光电转换。如果当前时间落在照明时间段内但在摄像时间段之外，则不对图案光进行光电转换。
如果传感器100(手部310)正在相对于物体500移动，则摄像装置拍摄在测量时间段期间形成在摄像装置的图像感测面上的图案光的图像(该图像移动)。如果认为传感器100以恒定速度相对于物体500移动，则计算机200计算在测量时间段期间物体500的位置和姿态的平均值。测量时间段期间物体500的位置和姿态的平均值分别与测量时间段的中点(测量中心时间)处的物体500的位置和姿态一致。
机器人控制装置400需要使测量装置700测量物体500在传感器坐标系中的位置和姿态的定时与机器人控制装置400获得传感器100在机器人坐标系中的位置和姿态的定时同步。为此，机器人控制装置400在测量时间段的中点的定时，获得传感器100在机器人坐标系中的位置和姿态。
将会举例说明由同步误差引起的测量误差以供参考。例如，假定测量装置700测量物体500在传感器坐标系中的位置和姿态的定时与机器人控制装置400获得传感器100在机器人坐标系中的位置和姿态的定时之间的同步误差是1ms。在这种情况下，如果通过移动机器人300的手部310而使传感器100以1m/sec移动，则被转换到机器人坐标系中的物体500的位置包括1mm的误差。
图2示出了根据本发明第一实施例的处理装置1的布置。处理装置1可以包括测量装置700和机器人系统800。测量装置700包括传感器100以通过主动立体方法获得物体500的位置和姿态。注意，如果不需要获得物体500的姿态，则测量装置700仅获得物体500的位置。
传感器100可以包括用于用图案光照明物体500的照明器10、用于拍摄用图案光照明的物体500的摄像装置20以及用于控制照明器10和摄像装置20的控制器30。控制器30输出测量时间信号，作为指示根据测量时间段所确定的定时的定时信息，其中该测量时间段是用于使照明器10照明物体500的照明时间段和用于使摄像装置20拍摄物体500的摄像时间段的重叠时间段。除了传感器100之外，测量装置700还可以包括计算机200(计算器)。例如，计算机200基于从传感器100的摄像装置20提供的图像来生成物体500的距离图像，并且基于距离图像获得物体500的位置和姿态。
照明器例如可以包括诸如LED(发光二极管)等的光源、用于利用来自光源的光生成图案光的掩模、用于投影图案光的光学系统以及用于驱动光源的驱动电路。掩模是绘制有要被投影到物体500上的图案的构件，并且可以通过例如通过镀铬在玻璃基板上形成遮光部来获得掩模。代替使用掩模，可以采用DMD(数字镜像装置)或液晶面板。
摄像装置20可以包括图像传感器和成像光学系统，成像光学系统用于在图像传感器的图像感测面上形成被图案光照明的物体500的图像。图像传感器可以是CCD图像传感器、CMOS图像传感器等。如果采用CMOS图像传感器，则希望使用全局快门型CMOS图像传感器。对于卷帘快门型CMOS图像传感器，各行的摄像时间段(测量时间段)是不同的，这可能导致误差。
控制器30可以由例如诸如FPGA(现场可编程门阵列)的PLD(可编程逻辑装置)或ASIC(专用集成电路)形成。控制器30基于计算机200设置的诸如照明时间段和摄像时间段等的测量参数，来控制照明器10和摄像装置20。
诸如照明时间段和摄像时间段等的测量参数可以由计算机200或机器人控制装置400设置。可选地，可以在测量物体500的位置和姿态之前进行预测量，并且控制器30可以基于预测量的结果来设置照明时间段和摄像时间段。可以根据物体500的反射率设置测量参数。例如，如果物体500是像金属那样具有高反射率的物体，则将照明时间段和摄像时间段设置为具有短时间。相反，如果物体500是具有低反射率的黑色物体，则将照明时间段和摄像时间段设置为具有长时间。
控制器30可以被配置为例如响应于从机器人控制装置400提供的测量触发来开始控制照明器10的照明和摄像装置20的摄像。可选地，控制器30可以被配置为响应于经由计算机200从机器人控制装置400提供的测量触发，开始控制照明器10的照明和摄像装置20的摄像。
为了将测量参数从计算机200发送到控制器30，可以通过例如以太网或RS-232C等的接口来连接计算机200和控制器30。为了从机器人控制装置400向控制器30提供测量触发，机器人控制装置400和控制器30可以通过例如光电耦合器等的接口连接。为了控制照明器10的操作，控制器30和照明器10可以通过例如用于发送照明信号的数字信号线来连接，并且控制器30可以根据是否将照明信号设置为有效电平，来控制照明器10的照明操作。控制器30和摄像装置20可以通过例如用于发送摄像信号的数字信号线连接，并且控制器30可以根据是否将摄像信号设置为有效电平，来控制摄像装置20的摄像操作。
控制器30将测量时间信号发送到加速度获得器40，以使测量装置700测量物体500的位置和姿态的定时与机器人控制装置400获得传感器100的位置和姿态的定时同步。测量时间信号是指示根据测量时间段所确定的定时的信号(定时信息)，更具体地，是指示测量时间段的中点的定时的信号。
下面参照图3所示的时序图描述根据第一实施例的处理装置1的操作。在形成机器人控制装置400和控制器30之间的接口的接口电路和通信路径中所生成的传输延迟时间τ1经过之后，由控制器30接收从机器人控制装置400输出的测量触发(3-a)。响应于接收到测量触发(3-a)，控制器30开始测量所用的控制。更具体地，响应于接收到测量触发(3-a)，控制器30将照明信号(3-b)在照明时间段中设置为有效电平，并且将摄像信号(3-c)在摄像时间段中设置为有效电平。作为示例，如果形成机器人控制装置400和传感器100之间的接口的通信路径的线缆长度是10m，则传输延迟时间τ1由接口电路中的传输延迟支配，并且例如是大约几十μs。
令TL为控制器30使照明器10照明物体500的照明时间段(照明信号维持在有效电平的时间段)，TE为控制器30使摄像装置20拍摄物体500的摄像时间段(摄像信号维持在有效电平的时间段)，并且Δt为使照明信号转变为有效电平的定时与使摄像信号转变为有效电平的定时之间的差。计算机200可以预设TL、TE和Δt作为测量参数。如图3所例示，例如在切换摄像装置20的操作状态所需的时间比切换照明器10的操作状态所需的时间短的情况下，将照明时间段TL设置为比摄像时间段TE长是有用的。例如，可以考虑使照明器10生成的照明光稳定所需的时间来设置Δt。照明时间段和摄像时间段不限于图3的示例中的时间段，并且可以假定各种关系。
如上所述，作为用于使照明器10照明物体500的照明时间段TL与用于使摄像装置20拍摄物体500的摄像时间段TE(曝光时间段)的重叠时间段的测量时间段T(3-d)用于在测量装置00中对物体500的测量。因此，控制器30使测量时间信号(3-f)在测量时间段T的中点(下文中称为测量中心时间)处转变为有效电平。测量时间信号(3-f)在该示例中是脉冲信号。测量时间信号的输出是用于输出指示根据测量时间段T所确定的定时的定时信息的方法的示例。
控制器30可以在测量时间段T开始之后通过定时器测量T/2的时间段(3-e)，并且在经过T/2的时间段时将测量时间信号(3-f)输出到机器人控制装置400。注意，用于测量T/2的时间段的定时器可以被配置为例如通过照明信号和摄像信号的“与(AND)”进行工作。可以使用照明时间段TL、摄像时间段TE以及照明开始定时和摄像开始定时之间的差Δt，通过如下等式来计算T/2的时间段：
注意，T/2的值根据TL、TE和Δt的值(即，照明信号和摄像信号的开始和结束定时)而改变。
T/2可以由计算机200计算并与测量参数一起发送到控制器30，或者可以由控制器30计算。控制器30和机器人控制装置400可以通过例如线缆以及使用光电耦合器的接口电路连接。在接口电路和线缆中所生成的传输延迟时间τ2经过之后，可以由机器人控制装置400接收从控制器30发送的测量时间信号。例如，如果连接传感器100和机器人控制装置400的线缆的长度是10m，则传输延迟时间τ2由接口电路中的传输延迟支配，并且例如为大约几十μs。机器人控制装置400响应于测量时间信号，获得传感器100在机器人坐标系中的位置和姿态(3-g)。
如上所述，控制器30在测量中心时间将测量时间信号发送给机器人控制装置400。这可以使传感器100对物体500的位置和姿态的测量与机器人控制装置400对传感器100的位置和姿态的获得同步。
将参照图2描述测量装置700的布置。将由摄像装置20拍摄的图像发送到计算机200，并且计算机200基于该图像生成距离图像，并通过进行模型拟合检测物体500的位置和姿态。为了将图像从摄像装置20发送到计算机200，可以通过例如以太网来连接摄像装置20和计算机200。可选地，摄像装置20和计算机200可以通过诸如Camera Link或USB 3.0等的其他接口连接。
由计算机200计算出的物体500的位置和姿态被发送到机器人控制装置400并用作输入数据以控制机器人300的驱动。为了将物体500的位置和姿态从计算机200发送到机器人控制装置400，计算机200和机器人控制装置400可以通过例如以太网等的接口连接。
在处理装置1中，控制器30基于设置的照明时间段TL、设置的摄像时间段TE以及设置的照明开始时间和摄像开始时间之间的差Δt来控制测量操作。此外，处理装置1在测量中心时间(测量时间段T的中点)将测量时间信号输出到机器人控制装置400。这使得机器人控制装置400能够使用测量中心时间作为基准(触发)来获得传感器100的位置和姿态。因此，能够使传感器100对物体500的位置和姿态的测量与机器人控制装置400对传感器100的位置和姿态的获得同步。
[第二实施例]
下面将描述本发明的第二实施例。第二实施例没有提及的事项可以符合第一实施例。将参照图4所示的时序图描述根据第二实施例的处理装置1的操作。在第一实施例中，由于测量时间信号的传输延迟时间τ2，而导致在传感器100对物体500的位置和姿态的测量与机器人控制装置400对传感器100的位置和姿态的获得之间产生同步误差。为应对这种情况，在第二实施例中，控制器30在比测量时间段T的中点(测量中心时间)提前了传输延迟时间τ2的时间，将测量时间信号输出到机器人控制装置400。
传输延迟时间τ2是由在控制器30和机器人控制装置400之间的接口电路和线缆中产生的信号延迟而引起的。此外，可以包括从机器人控制装置400接收到测量时间信号时起直到机器人控制装置400获得位置和姿态为止的延迟(例如，由软件引起的延迟)。
如图4所示，控制器30在比测量中心时间(测量时间段T的中点)提前了传输延迟时间τ2的时间，将测量时间信号输出到机器人控制装置400。也就是说，控制器30在测量时间段T(4-e)开始之后通过定时器来测量(T/2-τ2)的时间段，并在经过(T/2-τ2)的时间段时将测量时间信号(4-f)输出到机器人控制装置400。可以使用照明时间段TL、摄像时间段TE、照明开始时间和摄像开始时间之间的差Δt以及传输延迟时间τ2(偏移值)，通过如下等式来计算(T/2-τ2)：
这可以被理解为通过使用传输延迟时间τ2(偏移值)来校正由等式(3)给出的定时。
注意，传输延迟时间τ2可以基于控制器30实际发送信号的发送时间和机器人控制装置400接收信号的接收时间来确定。传输延迟时间τ2可以由计算机200预设。此外，(T/2-τ2)可以由计算机200计算并与测量参数一起发送到控制器30，或者可以由控制器30通过将τ2从计算机200发送到控制器30而计算。根据第二实施例，与第一实施例相比，可以降低同步误差。
如上所述，控制器30生成测量时间信号作为如下信息，该信息指示通过基于预设偏移值(τ2)来校正根据测量时间段T所确定的定时(在测量时间段T开始之后的T/2的定时)而获得的定时。
[第三实施例]
下面将描述本发明的第三实施例。第三实施例没有提及的事项可以符合第一实施例。图5示出了根据本发明的第三实施例的处理装置1的布置。图6示出了根据本发明的第三实施例的处理装置1的操作。在第三实施例中，根据第一实施例的传感器100、计算机200和机器人控制装置400分别被替换为传感器100a、计算机200a和机器人控制装置400a。在传感器100a中，根据第一实施例的控制器30被替换为控制器30a。
在第三实施例中，测量装置700将作为定时信息的时间戳(指示时间信息的数字数据)与物体500在传感器坐标系中的位置和姿态的信息一起发送给机器人控制装置400a(机器人系统800)。当接收到时间戳时，机器人控制装置400a获得时间戳所指示的时间的传感器100a在机器人坐标系中的位置和姿态。机器人控制装置400a可以基于例如机器人300的驱动配置文件来获得传感器100a的位置和姿态。可选地，机器人控制装置400a可以通过对以给定采样间隔所获得的用于机器人300的手部310的驱动的编码器的输出值进行插值，来获得传感器100a的位置和姿态。注意，由测量装置700和机器人系统800中的时钟给出的时间期望彼此一致。然而，测量装置700和机器人系统800可以被配置为识别它们之间的时间偏移。
第三实施例例如可以用在如下状态：并非实时需要指示物体500在机器人坐标系中的位置和姿态的信息。例如，控制器30a可以被配置为响应于从机器人控制装置400a提供的测量触发，开始控制照明器10的照明和摄像装置20的摄像。可选地，控制器30a可以被配置为响应于经由计算机200a从机器人控制装置400a提供的测量触发，开始控制照明器10的照明和摄像装置20的摄像。
诸如照明时间段TL和摄像时间段TE等的测量参数可以由计算机200a或机器人控制装置400a来设置。可选地，可以在测量物体500的位置和姿态之前进行预测量，并且传感器100a可以基于预测量的结果来确定和设置测量参数。照明时间段TL和摄像时间段TE可以根据测量期间来自光量监视电路(未示出)的输出而改变。可选地，可以配置为继续照明操作和摄像操作中的至少一者，直到在测量期间进行的特定处理结束为止。也就是说，设置的照明时间段和摄像时间段可以与实际的照明时间段和摄像时间段不同。另外，可以通过各种方法改变照明时间段和摄像时间段。
为了使机器人控制装置400a获得测量中心时间(测量时间段T的中点)的传感器100a的位置和姿态，控制器30a将时间戳作为定时信息发送给计算机200a。然后，计算机200a将时间戳与物体500在传感器坐标系中的位置和姿态一起发送给机器人控制装置400a。
下面将参照图6所示的时序图来描述根据第三实施例的处理装置1的操作。在形成机器人控制装置400a和控制器30a之间的接口的接口电路和通信路径中所生成的传输延迟时间τ1经过之后，由控制器30a接收从机器人控制装置400a输出的测量触发(6-a)。响应于接收到测量触发(6-a)，控制器30a开始测量所用的控制。更具体地，响应于接收到测量触发(6-a)，控制器30a将照明信号(6-b)在照明时间段TL中设置为有效电平，并且将摄像信号(6-c)在摄像时间段TE中设置为有效电平。
在图6所示的示例中，照明时间段TL在摄像时间段TE结束之前结束。当在摄像时间段TE结束之后的图像读出时间段(未示出)中，由于关闭照明器10而引起的噪声可能降低从摄像装置20输出的图像的S/N比或者使传输图像失真从而造成问题时，该控制是有用的。然而，在第三实施例中，照明时间段TL和摄像时间段TE之间的关系不限于特定关系。
如上所述，作为用于使照明器10照明物体500的照明时间段TL和用于使摄像装置20拍摄物体500的摄像时间段TE的重叠时间段的测量时间段T(6-d)用于在测量装置700中对物体500的测量。因此，基于照明信号(6-b)和摄像信号(6-c)，控制器获得测量开始时间(6-e)和测量结束时间(6-f)。该操作可以基于例如照明信号(6-b)和摄像信号(6-c)的与(AND)的上升和下降来执行。
之后，控制器30a基于测量开始时间和测量结束时间来计算测量中心时间(测量时间段T的中点)(6-g)。控制器30a将测量中心时间作为时间戳发送给计算机200a，并且计算机200a将时间戳与物体500在传感器坐标系中的位置和姿态一起发送给机器人控制装置400a(6-h)。机器人控制装置400a获得时间戳所指示的时间的传感器100a在机器人坐标系中的位置和姿态(6-i)。
[第四实施例]
下面将描述本发明的第四实施例。第四实施例没有提及的事项可以符合第一实施例。图7示出了根据本发明的第四实施例的处理装置1的布置。图8示出了根据本发明的第四实施例的处理装置1的操作。在第四实施例中，根据第一实施例的传感器100、计算机200和机器人控制装置400分别被替换为传感器100b、计算机200b和机器人控制装置400b。在传感器100b中，根据第一实施例的照明器10被替换为第一照明器12和第二照明器14，并且根据第一实施例的摄像装置20被替换为第一摄像装置22和第二摄像装置24。此外，根据第一实施例的控制器30被替换为控制器30b。第一照明器12利用第一照明光照明物体500，并且第二照明器14利用第二照明光照明物体500。
在第四实施例中，使用第一组的第一照明器12和第一摄像装置22来测量物体500的位置和姿态。与此同时，使用第二组的第二照明器14和第二摄像装置24来测量物体500的位置和姿态。第一组和第二组中的一者可以用于拍摄灰度图像并基于灰度图像测量物体500的位置和姿态。第一组和第二组中的另一者可以用于基于通过用图案光照明而获得的图像来生成距离图像，并且基于距离图像来测量物体500的位置和姿态。
如果对灰度图像进行模型拟合，则图像的深度方向上的位置和姿态的估计精度不是十分高。另一方面，如果对距离图像进行模型拟合，则图像的平面方向上的位置和姿态的估计精度不是十分高。因此，使用灰度图像和距离图像两者来高精度地估计位置和姿态的技术是有用的。然而，由于摄像操作获得这些图像所需的光量彼此不同，所以第一组和第二组中的测量时间可能彼此不同。为了应对这种情况，在第四实施例中，控制器30b控制第一组和第二组，使得第一组中的测量中心时间和第二组中的测量中心时间之间的差落在容许范围内，优选地，使得第一组中的测量中心时间与第二组中的测量中心时间一致。
控制器30b通过第一照明信号控制第一组的第一照明器12，并且通过第二照明信号控制第二组的第二照明器14。控制器30b通过第一摄像信号控制第一组的第一摄像装置22，并且通过第二摄像信号控制第二组的第二摄像装置24。控制器30b控制第一和第二照明信号以及第一和第二摄像信号，使得第一组中的测量中心时间与第二组中的测量中心时间一致。此外，控制器30b在测量中心时间将测量时间信号发送给机器人控制装置400b，以使传感器100b对物体500的位置和姿态的测量与机器人控制装置400b对传感器100b的位置和姿态的获得同步。测量时间信号是指示根据(由第一照明信号和第一摄像信号确定的)第一测量时间段和(由第二照明信号和第二摄像信号确定的)第二测量时间段所确定的定时的定时信息。
下面将参照图8所示的时序图描述根据第四实施例的处理装置1的操作。在形成机器人控制装置400b和控制器30b之间的接口的接口电路和通信路径中所生成的传输延迟时间τ1经过之后，由控制器30b接收从机器人控制装置400b输出的测量触发(8-a)。响应于接收到测量触发(8-a)，控制器30b开始测量所用的控制。更具体地，响应于接收到测量触发(8-a)，控制器30b将第一照明信号(8-b)在第一照明时间段TL1中设置为有效电平，并且将第一摄像信号(8-c)在第一摄像时间段TE1中设置为有效电平。响应于接收到测量触发(8-a)，控制器30b将第二照明信号(8-h)在第二照明时间段TL2中设置为有效电平，并且将第二摄像信号(8-i)在第二摄像时间段TE2中设置为有效电平。
令Δt1为使第一照明信号转变为有效电平的定时与使第一摄像信号转变为有效电平的定时之间的差，Δt2为使第二照明信号转变为有效电平的定时与使第二摄像信号转变为有效电平的定时之间的差。预设第一照明时间段TL1、第二照明时间段TL2、第一摄像时间段TE1、第二摄像时间段TE2、照明开始时间与摄像开始时间之间的差Δt1和Δt2作为测量参数。
作为用于使第一照明器12照明物体500的第一照明时间段TL1和用于使第一摄像装置22拍摄物体500的第一摄像时间段TE1的重叠时间段的第一测量时间段T1用于使用第一组对物体500的测量。作为用于使第二照明器14照明物体500的第二照明时间段TL2和用于使第二摄像装置24拍摄物体500的第二摄像时间段TE2的重叠时间段的第二测量时间段T2用于使用第二组对物体500的测量。控制器30b控制第一组和第二组，使得第一组中的测量中心时间与第二组中的测量中心时间一致。在图8所示的示例中，控制器30b提供第一照明信号的开始时间与第二照明信号的开始时间之间的时间差Δt3。可以使用照明开始时间和摄像开始时间之间的差Δt1和Δt2以及第一测量时间段T1和第二测量时间段T2，通过如下等式来计算时间差Δt3：
Δt3＝|(Δt1|+T1/2)-(|Δt2|+T2/2) (5)
其中，可以使用照明时间段TL1、摄像时间段TE1、以及照明开始时间和摄像开始时间之间的差Δt1，通过如下等式来计算T1/2：
类似地，可以使用照明时间段TL2、摄像时间段TE2、以及照明开始时间和摄像开始时间之间的差Δt2，通过如下等式来计算T2/2：
Δt3、T1/2和T2/2可以由计算机200b计算并且与测量参数一起发送到控制器30b，或者可以由控制器30b计算。控制器30b在测量时间段开始后，通过定时器测量T1/2的时间段(8-e)，并在经过了T1/2的时间段时，将测量时间信号输出到机器人控制装置400b。注意，用于测量T1/2的时间段的定时器可以被配置为例如通过第一照明信号和第一摄像信号的“与”进行工作。在接口电路和线缆中生成的传输延迟时间τ2经过之后，可以由机器人控制装置400b接收测量时间信号。响应于测量时间信号，机器人控制装置400b获得传感器100b在机器人坐标系中的位置和姿态(8-g)。注意，根据第二实施例中描述的方法，可以降低由于传输延迟时间τ2而产生的同步误差。
如上所述，通过根据等式(5)确定操作定时，可以使第一组中的测量中心时间与第二组中的测量中心时间一致。此外，通过在测量中心时间向机器人控制装置400b发送测量时间信号，可以使传感器100b对物体500的位置和姿态的测量与机器人控制装置400b对传感器100b的位置和姿态的获得同步。
由第一照明器12和第二照明器14拍摄的图像被发送到计算机200b，并且计算机200b基于这些图像来计算物体500在传感器坐标系中的位置和姿态。在第四实施例中，为了使传感器100b对物体500的位置和姿态的测量与机器人控制装置400b对传感器100b的位置和姿态的获得同步，控制器30b将测量时间信号输出到机器人控制装置400b。然而，如在第三实施例中那样，控制器30b可以向机器人控制装置400b输出时间戳。
在第四实施例中，提供了两组的照明器和摄像装置。但是，可以提供三组或更多组。同样在这种情况下，进行控制使得三组或更多组中的测量中心时间之间的差落入容许范围内，优选地，使得三组或更多组中的测量中心时间彼此一致。此外，可以输出指示根据测量中心时间所确定的定时的定时信息(测量时间信息)。
[第五实施例]
下面将描述本发明的第五实施例。第五实施例没有提及的事项可以符合第四实施例。图9示出了根据本发明的第五实施例的处理装置1的布置。在第五实施例中，根据第四实施例的传感器100b、计算机200b和机器人控制装置400b分别被替换为传感器100c、计算机200c和机器人控制装置400c。在传感器100c中，根据第四实施例的第一照明器12和第二照明器14分别被替换为第一照明器12c和第二照明器14c。第一照明器12c利用第一照明光照明物体500，并且第二照明器14c利用第二照明光照明物体500。
在第五实施例中，使用第一组的第一照明器12c和第一摄像装置22来测量物体500的位置和姿态。与此同时，使用第二组的第二照明器14c和第二摄像装置24来测量物体500的位置和姿态。第一组和第二组中的一者可以用于拍摄灰度图像并基于灰度图像测量物体500的位置和姿态。第一组和第二组中的另一者可以用于基于通过用图案光照明而获得的图像来生成距离图像，并且基于距离图像来测量物体500的位置和姿态。
在第四实施例中，控制第一和第二照明信号以及第一和第二摄像信号的定时，使得第一组中的测量中心时间与第二组中的测量中心时间之间的差落在容许范围内，优选地，使得第一组中的测量中心时间与第二组中的测量中心时间一致。另一方面，在第五实施例中，使第一组的测量时间段与第二组的测量时间段匹配，从而使第一组中的测量中心时间与第二组中的测量中心时间一致。根据测量时间段，确定第一照明光的强度和第二照明光的强度。第一照明光的强度由通过控制器30c发送到第一照明器12c的第一强度命令值来控制，并且第二照明光的强度由通过控制器30c发送到第二照明器14c的第二强度命令值来控制。
控制器30c通过共同的照明信号控制第一组的第一照明器12c和第二组的第二照明器14c。此外，控制器30c通过共同的摄像信号控制第一组的第一摄像装置22和第二组的第二摄像装置24。
作为示例，考虑如下情况：作为推荐条件，第一照明器12c的推荐照明时间段是20ms，第二照明器14c的推荐照明时间段是15ms，第一摄像装置22的推荐摄像时间段是15ms，并且第二摄像装置24的推荐摄像时间段是10ms。假定用于第一照明器12c和第二照明器14c的各推荐强度命令值是50％。还假定第一照明器12c和第一摄像装置22的推荐测量时间段以及第二照明器14c和第二摄像装置24的推荐测量时间段分别是15ms和10ms。
在该示例中，考虑如下情况：在设置较短的共同照明时间段和较短的共同摄像时间段的策略下，共同照明时间段、共同摄像时间段和共同测量时间被分别设置为15ms、10ms和10ms。在这种情况下，通过第一组的第一摄像装置22获得的图像的光量减少到在推荐条件下获得的光量的2/3，并且通过第二组的第二摄像装置24获得的图像的光量等于在推荐条件下获得的光量。为了补偿减少量，第一照明器12c的第一强度命令值从推荐强度命令值50％改变到75％。此外，关于第二照明器14c的第二强度命令值，维持推荐强度命令值50％。这可以使第一组中的测量中心时间与第二组中的测量中心时间一致。
为了使传感器100c对物体500的位置和姿态的测量与机器人控制装置400c对传感器100c的位置和姿态的获得同步，控制器30c在测量中心时间将测量时间信号发送到机器人控制装置400c。代替将测量时间信号从控制器30c输出到机器人控制装置400c，如第三实施例那样，控制器30c可以将时间戳输出到机器人控制装置400c。
在第五实施例中，提供了两组的照明器和摄像装置。但是，可以提供三组或更多组。在这种情况下，也可以使三组或更多组中的测量中心时间彼此一致。
[第六实施例]
下面将描述本发明的第六实施例。第六实施例没有提及的事项可以符合第一实施例。图10示出了根据本发明的第六实施例的处理装置1的布置。在第六实施例中，根据第一实施例的传感器100被替换为传感器100d。在传感器100d中，根据第一实施例的控制器30被替换为控制器30d，并且添加了加速度获得器40。加速度获得器40获得传感器100d(照明器10和摄像装置20)的加速度。
在第一至第五实施例中，假定机器人300的手部310以恒定速度移动来测量物体500的位置和姿态。然而，机器人300的手部310可以进行加速运动。加速运动包括增大速度的加速运动和降低速度的加速运动(减速运动)。在第六实施例中，即使机器人300的手部310(传感器100d)进行加速运动，也降低了在物体500的位置和姿态的测量与传感器100d的位置和姿态的获得之间产生的同步误差。在第六实施例中，除了测量时间段之外，控制器30d还根据传感器100d(照明器10和摄像装置20)的加速度来输出定时信息(测量中心时间)。传感器100d的加速度由加速度获得器40获得。
如果从加速度获得器40输出的加速度的绝对值小于阈值，即可以认为传感器100d进行均匀运动，则控制器30d可以输出测量中心时间作为定时信息。然而，如果从加速度获得器40输出的加速度的绝对值大于阈值，即不能认为传感器100d进行均匀运动，则通过在测量中心时间获得传感器100d的位置和姿态可能产生同步误差。
例如，在利用图案光照明物体的主动立体方法中，在对拍摄图像中的图案图像的亮度值进行诸如重心检测或峰值检测等的处理之后，可以计算距离图像。因此，如果在传感器100d进行加速运动的状态下进行摄像，则拍摄图像中的图案图像失真。因此，检测到的重心或峰值位置在增大速度的加速时，相对于测量时间段的中点变得接近测量开始位置侧的位置，并且在减小速度的加速(减速)时，变得接近测量结束位置侧的位置。
考虑到这一点，为了减小由传感器100d的加速运动引起的同步误差，仅当加速度的绝对值小于阈值时才测量物体500的位置和姿态的方法是有用的。可选地，为了减小由传感器100d的加速运动引起的同步误差，根据加速度调整来获得传感器100d的位置和姿态的定时的方法是有用的。
将参照图11描述仅当加速度的绝对值小于阈值时测量物体500的位置和姿态的操作。在步骤S101中，控制器30d从加速度获得器40获得加速度。此时，加速度获得器40获得由机器人控制装置400保持的加速度配置文件，基于加速度配置文件获得传感器100d(手部310)的加速度。加速度获得器40可以从机器人控制装置400获得由设置在手部310中的加速度传感器所检测到的加速度。可选地，加速度获得器40可以包括加速度传感器以基于来自加速度传感器的输出获得传感器100d(手部310)的加速度。
在步骤S102中，控制器30d确定步骤S101中获得的加速度的绝对值是否小于预设阈值。如果绝对值小于阈值，则处理进入步骤S103；否则，处理返回到步骤S101。步骤S101和S102被理解为在加速度的绝对值变得小于阈值之后进入步骤S103的处理。在步骤S103中，控制器30d确定是否已经从机器人控制装置400接收到测量触发。如果已经接收到测量触发，则处理进入步骤S104；否则，处理返回到步骤S101。可以通过使用加速度作为参数预先测量物体500的位置和姿态，来基于容许同步误差来确定该阈值。
在步骤S104中，控制器30d开始测量所用的控制。测量处理可以符合例如第一实施例。例如，控制器30d将照明信号设置为有效电平，并且还将摄像信号设置为有效电平。在步骤S105中，控制器30d在测量中心时间输出测量时间信号(定时信号)。
步骤S103可以在步骤S101之前执行。在这种情况下，如果接收到测量触发，则执行步骤S101和S102。如果在步骤S102中判断为加速度的绝对值小于阈值，则执行步骤S104。
将参考图12来描述根据加速度来调整获得传感器100d的位置和姿态的定时的操作。在步骤S201中，控制器30d从加速度获得器40获得加速度。在步骤S202中，控制器30d确定是否已经从机器人控制装置400接收到测量触发。如果已经接收到测量触发，则处理进入步骤S203；否则，处理返回到步骤S201。注意，步骤S202可以在步骤S201之前执行。在这种情况下，如果接收到测量触发，则可以执行步骤S201。
在步骤S203中，控制器30d开始测量所用的控制。测量处理可以符合例如第一实施例。例如，控制器30d将照明信号设置为有效电平，并且还将摄像信号设置为有效电平。
在步骤S204中，确定步骤S201中获得的加速度的绝对值是否小于预设阈值。如果绝对值小于阈值，则处理进入步骤S205；否则，处理进入步骤S206。如果加速度的绝对值小于预设阈值，则在步骤S205中，控制器30d在测量中心时间输出测量时间信号(定时信号)。
如果加速度的绝对值大于预设阈值，则控制器30d在步骤S206中确定加速度是否降低速度。如果加速度降低速度，则处理进入步骤S207。如果加速度增大速度，则处理进入步骤S208。
如果加速度降低速度，则在步骤S207中，控制器30d输出指示测量时间段的中点之后的定时(例如，测量时间段的结束定时)的信息作为定时信息。更具体地，控制器30d可以被配置为在测量时间段的中点之后的定时输出测量时间信号。
另一方面，如果加速度增大速度，则控制器30d在步骤S208中输出指示测量时间段的中点之前的定时(例如，测量时间段的开始定时)的信息作为定时信息。更具体地，控制器30d可以被配置为在测量时间段的中点之前的定时输出测量时间信号。
可以将用于步骤S204中的确定的阈值设置为如下加速度，通过使用加速度作为参数来预先测量物体500的位置和姿态，该加速度将拍摄图像中的图案图像的重心或峰值从图案图像宽度的中心移位图案图像宽度的1/4。
在上述示例中，测量时间信号的输出定时(定时信息)根据加速度具有小于阈值的绝对值的情况、加速度降低速度的情况以及加速度增大速度的情况中的各情况来确定。为了更精细地控制测量时间信号的输出定时，加速度可以被划分成多个范围，并且测量时间信号的输出定时(定时信息)可以根据检测到的加速度属于多个范围中的哪个范围来确定。可以考虑到容许同步误差、加速度对测量位置和姿态的结果的影响程度(即用于测量位置和姿态的算法)等，来确定划分数量。
可以基于通过对加速度进行积分而获得的速度(代替加速度)来调整测量物体500的位置和姿态的定时。可选地，可以基于速度和加速度来调整获得传感器100d的位置和姿态的定时。例如，如果在测量时间段期间检测到超过传感器100d的视野的速度和加速度，则在测量物体500的位置和姿态时可能产生误差。为了应对这种情况，如果检测到这样的速度和加速度，则可以被配置为不测量物体500的位置和姿态。可选地，如果检测到这样的速度和加速度，则可以被配置为考虑误差来调整获得传感器100d的位置和姿态的定时。
在上述实施例中，测量装置700被固定到机器人300的手部310，并与手部310一起移动。本发明可适用于如下情况：测量装置700与物体500之间的相对位置(和相对加速度)在物体500移动时改变。在这种情况下，例如，可以设置用于移动物体500的移动机构来代替机器人系统800。移动机构可以包括例如与物体500一起移动的诸如载台的可移动构件、以及用于控制可移动构件的移动的可移动构件控制装置。在这种情况下，控制器30d可以被配置为：除了测量时间段之外，还根据可从可移动构件控制装置提供的物体500(可移动构件)的加速度的信息来输出定时信息。
[补充]
还可以通过在传感器和计算机之间设置安装在传感器中的集线器(例如以太网交换集线器)并时分发送/接收测量参数和图像，来减少通信线路。
[物品制造方法]
图1所示的物体500可以是用于制造(加工)物品的部件。该部件由机器人300进行处理(例如，加工、组装、保持或移动)。机器人300由机器人控制装置400控制。机器人控制装置400从测量装置700接收物体500的位置和姿态的信息，并且基于该信息来控制机器人300的操作。处理装置1可以被形成为如下制造装置，该制造装置通过测量装置700测量物体500的位置(或位置和姿态)，基于测量结果通过机器人系统800处理物体500，并且制造包括物体500的物品。
由处理装置1进行的物品制造方法在基于测量装置700的测量结果操作安装有测量装置700的机器人300的情况下制造物品。物品制造方法可以包括用于通过测量装置700测量物体500(部件)的位置(或位置和姿态)的测量步骤、以及用于基于测量步骤中所获得的位置(或位置和姿态)来控制机器人300的控制步骤。控制步骤中对机器人300的控制包括用于处理物体的控制。该处理可以包括例如加工、切割、运送、组装，检查和选择中的至少一者。根据本实施例的物品制造方法在物品的性能、质量、生产率和生产成本中的至少一个方面优于传统方法。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或设备，该系统或设备的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种测量装置，用于测量物体的位置，所述测量装置包括：
照明器，其被配置为对所述物体进行照明；
摄像装置，其被配置为拍摄所述照明器所照明的物体；
计算器，其被配置为基于所述摄像装置所获得的图像来获得所述物体的位置；以及
控制器，其被配置为控制所述照明器和所述摄像装置，
其中，所述控制器输出指示根据测量时间段所确定的定时的定时信息，所述测量时间段是用于使所述照明器对所述物体进行照明的照明时间段和用于使所述摄像装置拍摄所述物体的摄像时间段的重叠时间段。
2.根据权利要求1所述的测量装置，其中，所述控制器向所述照明器发送指示所述照明时间段的照明信号，并向所述摄像装置发送指示所述摄像时间段的摄像信号，以及所述控制器根据所述照明信号和所述摄像信号生成所述定时信息。
3.根据权利要求2所述的测量装置，其中，所述照明时间段与所述摄像时间段不同。
4.根据权利要求1所述的测量装置，其中，除了所述测量时间段之外，所述控制器还根据所述照明器和所述摄像装置的加速度来输出所述定时信息。
5.根据权利要求4所述的测量装置，其中，所述控制器基于从机器人控制装置获得的信息来获得所述加速度，所述机器人控制装置被配置为对安装有所述测量装置的机器人进行控制。
6.根据权利要求4所述的测量装置，其中，所述测量装置还包括加速度传感器，
其中，所述控制器基于来自所述加速度传感器的输出，来获得所述加速度。
7.根据权利要求1所述的测量装置，其中，除了所述测量时间段之外，所述控制器还根据所述物体的加速度来输出所述定时信息。
8.根据权利要求7所述的测量装置，其中，所述控制器基于从可移动构件控制装置提供的信息来获得所述加速度，所述可移动构件控制装置被配置为控制所述物体的移动。
9.根据权利要求4所述的测量装置，其中，在所述加速度用于增大速度的情况下，所述控制器输出指示所述测量时间段的中点之前的定时的信息作为所述定时信息，而在所述加速度用于降低速度的情况下，所述控制器输出指示所述测量时间段的中点之后的定时的信息作为所述定时信息。
10.根据权利要求4所述的测量装置，其中，在所述加速度的绝对值小于阈值的情况下，所述控制器输出指示与所述测量时间段的中点相对应的定时的信息作为所述定时信息。
11.根据权利要求4所述的测量装置，其中，在所述加速度的绝对值小于阈值的情况下，所述控制器操作所述照明器和所述摄像装置，使得拍摄所述物体。
12.根据权利要求11所述的测量装置，其中，在所述加速度的绝对值大于所述阈值的情况下，所述控制器不操作所述照明器和所述摄像装置。
13.根据权利要求4所述的测量装置，其中，在所述加速度的绝对值小于阈值的情况下，所述控制器操作所述照明器和所述摄像装置，使得响应于接收到测量触发来拍摄所述物体。
14.根据权利要求1所述的测量装置，其中，所述定时信息是脉冲信号。
15.根据权利要求1所述的测量装置，其中，所述定时信息包括指示时间信息的数字数据。
16.根据权利要求1所述的测量装置，其中，所述控制器生成指示如下的定时的信息作为所述定时信息，其中该定时是通过基于预设偏移值来对至少根据所述测量时间段所确定的定时进行校正而获得的。
17.根据权利要求1所述的测量装置，其中，
设置有第一照明器和第二照明器作为所述照明器，所述第一照明器被配置为利用第一照明光对所述物体进行照明，所述第二照明器被配置为利用第二照明光对所述物体进行照明，以及设置有第一摄像装置和第二摄像装置作为所述摄像装置，所述第一摄像装置被配置为拍摄利用所述第一照明光照明的所述物体，所述第二摄像装置被配置为拍摄利用所述第二照明光照明的所述物体，以及
确定第一组的所述第一照明器和所述第一摄像装置中的测量时间段以及第二组的所述第二照明器和所述第二摄像装置中的测量时间段，使得使用所述第一组而获得的所述物体的位置与使用所述第二组而获得的所述物体的位置之间的差落在容许范围内。
18.根据权利要求1所述的测量装置，其中，
设置有第一照明器和第二照明器作为所述照明器，所述第一照明器被配置为利用第一照明光对所述物体进行照明，所述第二照明器被配置为利用第二照明光对所述物体进行照明，以及设置有第一摄像装置和第二摄像装置作为所述摄像装置，所述第一摄像装置被配置为拍摄利用所述第一照明光照明的所述物体，所述第二摄像装置被配置为拍摄利用所述第二照明光照明的所述物体，以及
确定第一组的所述第一照明器和所述第一摄像装置中的测量时间段、第二组的所述第二照明器和所述第二摄像装置中的测量时间段、所述第一照明光的强度以及所述第二照明光的强度，使得使用所述第一组而获得的所述物体的位置与使用所述第二组而获得的所述物体的位置之间的差落在容许范围内。
19.一种处理装置，包括：
具有手部的机器人；
机器人控制器，其被配置为控制所述机器人；以及
根据权利要求1至18中任一项所述的测量装置，
其中，所述测量装置的所述照明器和所述摄像装置安装到所述手部，以及
所述机器人控制器基于所述测量装置的测量结果来控制所述机器人。
20.一种物品制造方法，用于在基于根据权利要求1至18中任一项所述的测量装置的测量结果来操作安装有所述测量装置的机器人的情况下制造物品，所述物品制造方法包括如下步骤：
测量步骤，利用所述测量装置测量物体的位置；以及
基于所述测量步骤中所获得的位置来控制所述机器人。
CN201810194835.3A 2017-03-09 2018-03-09 测量装置、处理装置以及物品制造方法 Pending CN108731589A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-045249 2017-03-09
JP2017045249A JP6410861B2 (ja) 2017-03-09 2017-03-09 計測装置、処理装置および物品製造方法

Publications (1)

Publication Number Publication Date
CN108731589A true CN108731589A (zh) 2018-11-02

Family

ID=61256545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194835.3A Pending CN108731589A (zh) 2017-03-09 2018-03-09 测量装置、处理装置以及物品制造方法

Country Status (4)

Country Link
US (1) US10638021B2 (zh)
EP (1) EP3372953A1 (zh)
JP (1) JP6410861B2 (zh)
CN (1) CN108731589A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112154353A (zh) * 2019-04-23 2020-12-29 深圳市大疆创新科技有限公司 控制装置、摄像系统、移动体、控制方法以及程序
WO2021147026A1 (en) * 2020-01-22 2021-07-29 Abb Schweiz Ag Method and electronic device, system and computer readable medium for time calibration
CN113365569A (zh) * 2019-03-08 2021-09-07 柯惠Lp公司 机器人手术方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018161700A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、システム、情報処理方法、製造方法
JP7014133B2 (ja) * 2018-11-09 2022-02-01 オムロン株式会社 情報収集システム、情報収集方法、自走式ロボット、情報処理装置およびプログラム
JP7176969B2 (ja) * 2019-02-08 2022-11-22 株式会社キーエンス 検査装置
EP3985347B1 (en) * 2019-06-17 2024-04-03 OMRON Corporation Device, method and program for measuring point clouds
JP7357554B2 (ja) 2020-01-23 2023-10-06 キヤノン株式会社 同期制御装置、同期制御装置の制御方法、システム
US11694533B2 (en) 2021-01-22 2023-07-04 Cilag Gmbh International Predictive based system adjustments based on biomarker trending
US20220239577A1 (en) * 2021-01-22 2022-07-28 Ethicon Llc Ad hoc synchronization of data from multiple link coordinated sensing systems
CN113091649B (zh) * 2021-04-09 2022-03-22 哈尔滨理工大学 格雷码与相移非等周期组合测量中周期跳变误差消除方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060159331A1 (en) * 2005-01-18 2006-07-20 Sadao Kubo Method, apparatus and system for measuring a welding-groove position
WO2006098955A2 (en) * 2005-03-11 2006-09-21 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
JP2010110855A (ja) * 2008-11-06 2010-05-20 Seiko Epson Corp ロボットシステム、ロボット制御装置およびロボット制御方法
US20140354803A1 (en) * 2011-12-19 2014-12-04 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and computer-readable storage medium
CN105783726A (zh) * 2016-04-29 2016-07-20 无锡科技职业学院 一种基于线结构光视觉检测的曲线焊缝三维重建方法
US20160223316A1 (en) * 2015-02-04 2016-08-04 Hexagon Technology Center Gmbh Coordinate measuring machine

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2346719C3 (de) 1973-09-17 1980-01-24 Siemens Ag, 1000 Berlin Und 8000 Muenchen Mehrschichtige Bestrahlungsmaske für die Röntgenstrahl-Fotolithografie
JPS6014105A (ja) 1983-07-05 1985-01-24 Matsushita Electric Ind Co Ltd 位置検出装置
JP3820087B2 (ja) 1999-08-11 2006-09-13 ペンタックス株式会社 ３次元画像検出装置
KR100456578B1 (ko) * 2001-11-30 2004-11-10 박희재 동력조향장치용 입력축 검사기 및 그 검사방법
JP5740648B2 (ja) * 2011-02-17 2015-06-24 株式会社ミツトヨ 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
JP5740649B2 (ja) * 2011-02-17 2015-06-24 株式会社ミツトヨ 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
TW201331547A (zh) * 2011-11-01 2013-08-01 尼康股份有限公司 形狀測定裝置、構造物製造系統、形狀測定方法、構造物製造方法、程式及記錄媒體
JP5984409B2 (ja) * 2012-02-03 2016-09-06 キヤノン株式会社 三次元計測システム及び方法
DE102013014467A1 (de) * 2013-08-30 2015-03-05 Dürr Ecoclean GmbH "Verfahren zum Einmessen und/oder Kalibrieren eines Roboters"
JP2017011573A (ja) * 2015-06-24 2017-01-12 株式会社リコー 制御装置、機器制御システム、機器制御方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060159331A1 (en) * 2005-01-18 2006-07-20 Sadao Kubo Method, apparatus and system for measuring a welding-groove position
WO2006098955A2 (en) * 2005-03-11 2006-09-21 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
JP2010110855A (ja) * 2008-11-06 2010-05-20 Seiko Epson Corp ロボットシステム、ロボット制御装置およびロボット制御方法
US20140354803A1 (en) * 2011-12-19 2014-12-04 Canon Kabushiki Kaisha Information processing apparatus, control method therefor, and computer-readable storage medium
US20160223316A1 (en) * 2015-02-04 2016-08-04 Hexagon Technology Center Gmbh Coordinate measuring machine
CN105783726A (zh) * 2016-04-29 2016-07-20 无锡科技职业学院 一种基于线结构光视觉检测的曲线焊缝三维重建方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365569A (zh) * 2019-03-08 2021-09-07 柯惠Lp公司 机器人手术方法
CN112154353A (zh) * 2019-04-23 2020-12-29 深圳市大疆创新科技有限公司 控制装置、摄像系统、移动体、控制方法以及程序
WO2021147026A1 (en) * 2020-01-22 2021-07-29 Abb Schweiz Ag Method and electronic device, system and computer readable medium for time calibration
CN114930131A (zh) * 2020-01-22 2022-08-19 Abb瑞士股份有限公司 用于时间校准的方法和电子设备、系统和计算机可读介质
CN114930131B (zh) * 2020-01-22 2023-05-26 Abb瑞士股份有限公司 用于时间校准的方法和电子设备、系统和计算机可读介质

Also Published As

Publication number Publication date
EP3372953A1 (en) 2018-09-12
US20180262656A1 (en) 2018-09-13
US10638021B2 (en) 2020-04-28
JP2018151163A (ja) 2018-09-27
JP6410861B2 (ja) 2018-10-24

Similar Documents

Publication Publication Date Title
CN108731589A (zh) 测量装置、处理装置以及物品制造方法
CN103988049B (zh) 具有摄像头的坐标测量机
US7136170B2 (en) Method and device for determining the spatial co-ordinates of an object
CN100553346C (zh) 具备测距功能的摄像装置及摄像方法
CN106681510B (zh) 位姿识别装置、虚拟现实显示装置以及虚拟现实系统
CN1982841A (zh) 三维形状测量装置及方法
CN104019763B (zh) 流体三维速度场及变形体三维形貌的同步测量装置
WO2013121605A1 (ja) 口腔内歯列撮影装置
CN103376093B (zh) 用于tdi ccd相机对非匀速运动对象的成像方法和装置
CN109089013A (zh) 一种多光源检测图像获取方法以及机器视觉检测系统
CN108700408A (zh) 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法
CN104111485A (zh) 基于立体成像的雨滴谱和其它降水微物理特征的观测方法
CN109696658A (zh) 采集设备、声音采集方法、声源跟踪系统及其方法
CN206440244U (zh) 分布式多目立体视觉系统
CN111736169A (zh) 一种数据同步方法、设备及系统
CN109781068A (zh) 面向空间应用的视觉测量系统地面模拟评估系统及方法
CN103220964A (zh) 带有用于表面检测的图像检测单元的齿科x射线装置和用于产生患者x射线照片的方法
US10699442B2 (en) Articulated arm coordinate measuring machine having a color laser line probe
CN105387818B (zh) 一种基于一维图像序列的大尺度三维形貌测量方法
CN110030988A (zh) 一种用于高动态位姿测量的多信标高速同步识别方法
JP2019007983A (ja) 計測装置、処理装置および物品製造方法
JP6987033B2 (ja) 撮影タイミング制御装置、撮像システムおよび撮像方法
CN104034729A (zh) 用于电路板分选的五维成像系统及其成像方法
JP2017156242A (ja) 計測装置、システム、計測方法、および物品の製造方法
EP3450911B1 (en) Articulated arm coordinate measuring machine having a color laser line scanner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181102

WD01 Invention patent application deemed withdrawn after publication