CN110871457A - 三维计测装置，机器人及机器人系统 - Google Patents

三维计测装置，机器人及机器人系统 Download PDF

Info

Publication number
CN110871457A
CN110871457A CN201910822204.6A CN201910822204A CN110871457A CN 110871457 A CN110871457 A CN 110871457A CN 201910822204 A CN201910822204 A CN 201910822204A CN 110871457 A CN110871457 A CN 110871457A
Authority
CN
China
Prior art keywords
pattern light
projected
imaging unit
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910822204.6A
Other languages
English (en)
Other versions
CN110871457B (zh
Inventor
若林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN110871457A publication Critical patent/CN110871457A/zh
Application granted granted Critical
Publication of CN110871457B publication Critical patent/CN110871457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00—Arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40533—Generate derivative, change of vibration error
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种能够更加迅速且精度良好地进行对象物的三维计测的三维计测装置，机器人及机器人系统。三维计测装置具备：处理器；投影部，向包括对象物的区域投影基于激光的第一图案光及第二图案光；拍摄部，对所述区域的拍摄图像进行拍摄；振动信息接收部，接收与所述投影部或所述拍摄部的振动相关的振动信息；以及计测部，基于所述拍摄图像计测所述对象物的三维形状，所述处理器在所述振动信息成为第一阈值以下时，使所述拍摄部对投影了具有第一周期的所述第一图案光的所述区域进行拍摄，所述处理器在所述振动信息成为比所述第一阈值小的第二阈值以下时，使所述拍摄部对投影了具有比所述第一周期短的第二周期的所述第二图案光的所述区域进行拍摄。

Description

三维计测装置，机器人及机器人系统
技术领域
本发明涉及三维计测装置，机器人及机器人系统。
背景技术
专利文献1中记载的带照相机的机器人构成为照相机的位置为预先设定的位置阈值以下，且照相机的移动速度为预先设定的速度阈值以下时，松开照相机的快门。通过这样的构成，在防止用于探测工件的图像的抖动，且在降低位置误差的同时，能够通过尽快地松开快门，从而进一步提高作业效率。
专利文献1：日本特开2011-11330号公报
但是，在采用通过多次拍摄进行工件的三维计测的相移法的情况下，即便是在照相机抖动少的时机加快了快门速度，在照相机中仍残留着具有超过测量精度的大小的振幅的振动的时机进行拍摄时，存在测量精度恶化的问题。
发明内容
本发明的三维计测装置是采用激光进行对象物的三维计测的三维计测装置，其特征在于，具备：处理器；投影部，向包括对象物的区域投影基于激光的第一图案光及第二图案光；拍摄部，对所述区域的拍摄图像进行拍摄；振动信息接收部，接收与所述投影部或所述拍摄部的振动相关的振动信息；以及计测部，基于所述拍摄图像计测所述对象物的三维形状，所述处理器在所述振动信息成为第一阈值以下时，使所述拍摄部对投影了具有第一周期的所述第一图案光的所述区域进行拍摄，所述处理器在所述振动信息成为比所述第一阈值小的第二阈值以下时，使所述拍摄部对投影了具有比所述第一周期短的第二周期的所述第二图案光的所述区域进行拍摄。
附图说明
图1是示出本发明的第一实施方式所涉及的机器人系统的整体构成的图。
图2是示出三维计测装置的整体构成的图。
图3是示出图2所示的三维计测装置所具有的光扫描部的俯视图。
图4是示出通过投影部所投影的图案光的一个例子的俯视图。
图5是示出采用了相移法的三维计测的步骤的流程图。
图6是示出振动的大小与第一～第四拍摄步骤的开始时机的关系的图表。
图7是示出本发明的第二实施方式所涉及的机器人系统所具有的三维计测装置的整体构成的图。
图8是示出振动的大小与第一～第四拍摄步骤的开始时机的关系的图表。
图9是示出本发明的第三实施方式中的第一～第四拍摄步骤的开始时机的图表。
图10是示出振动的大小与第一～第四拍摄步骤的开始时机的关系的图表。
图11是示出采用了本发明的第四实施方式中的相移法的三维计测的步骤的流程图。
图12是示出采用了本发明的第四实施方式中的相移法的三维计测的步骤的流程图。
附图标记说明
1…机器人系统；2…机器人；21…基座；22…机械臂；221…第一臂；222…第二臂；223…第三臂；224…第四臂；225…第五臂；226…第六臂；24…末端执行器；251…第一驱动装置；252…第二驱动装置；253…第三驱动装置；254…第四驱动装置；255…第五驱动装置；256…第六驱动装置；4…三维计测装置；41…投影部；42…激光源；44…光学系；441…聚光透镜；442…柱状透镜；45…光扫描部；451…可动部；452…支承部；453…梁部；454…镜；455…永磁体；456…线圈；47…拍摄部；471…照相机；472…拍摄元件；473…聚光透镜；48…控制部；481…振动信息接收部；482…驱动控制部；489…存储部；49…计测部；5…机器人控制装置；6…主机；7…振动传感器；J…转动轴；L…激光；L1…第一阈值；L2…第二阈值；L3…第三阈值；L4…第四阈值；O1…第一轴；O2…第二轴；O3…第三轴；O4…第四轴；O5…第五轴；O6…第六轴；PL…图案光；PL1…第一图案光；PL11…第一相位图案光；PL12…第二相位图案光；PL13…第三相位图案光；PL14…第四相位图案光；PL2…第二图案光；PL3…第三图案光；PL4…第四图案光；Q…振动；S1…第一拍摄步骤；S11…第一相位拍摄步骤；S12…第二相位拍摄步骤；S13…第三相位拍摄步骤；S14…第四相位拍摄步骤；S2…第二拍摄步骤；S3…第三拍摄步骤；S4…第四拍摄步骤；T1…第一时刻；T10…第一结束时刻；T2…第二时刻；T20…第二结束时刻；T3…第三时刻；T30…第三结束时刻；T4…第四时刻；W…对象物；XS1…第一曝光步骤；XS2…第二曝光步骤；XS3…第三曝光步骤；XS4…第四曝光步骤；f…周期；f1…第一周期；f2…第二周期；f3…第三周期；f4…第四周期；r1…第一曝光时间；r2…第二曝光时间；r3…第三曝光时间；r4…第四曝光时间；α1…第一相位；α2…第二相位；α3…第三相位；α4…第四相位。
具体实施方式
下面，基于附图所示的实施方式对本发明的三维计测装置，机器人及机器人系统进行详细地说明。
第一实施方式
图1是示出本发明的第一实施方式所涉及的机器人系统的整体构成的图。图2是示出三维计测装置的整体构成的图。图3是示出图2所示的三维计测装置所具有的光扫描部的俯视图。图4是示出通过投影部所投影的图案光的一个例子的俯视图。图5是示出采用了相移法的三维计测的步骤的流程图。图6是示出振动的大小与第一～第四拍摄步骤的开始时机的关系的图表。
图1所示的机器人系统1具有机器人2、采用激光L进行对象物W的三维计测的三维计测装置4、检测三维计测装置4的振动Q的振动传感器7、基于三维计测装置4的计测结果控制机器人2的驱动的机器人控制装置5、以及能够与机器人控制装置5通信的主机6。需要说明的是，这些各部分能够以有线或无线的方式进行通信，该通信也可以借助因特网这样的网络来进行。
机器人
机器人2例如是进行供给、去除、输送及组装精密设备或构成该精密设备的部件等的作业的机器人。但是，机器人2的用途并不受特别限制。本实施方式的机器人2是六轴机器人，如图1所示，具有固定于地板或天花板的基座21、以及与基座21连结的机械臂22。
机械臂22具有以绕第一轴O1转动自如的方式连结于基座21的第一臂221、以绕第二轴O2转动自如的方式连结于第一臂221的第二臂222、以绕第三轴O3转动自如的方式连结于第二臂222的第三臂223、以绕第四轴O4转动自如的方式连结于第三臂223的第四臂224、以绕第五轴O5转动自如的方式连结于第四臂224的第五臂225、以及以绕第六轴O6转动自如的方式连结于第五臂225的第六臂226。此外，与使机器人2执行的作业相对应的末端执行器24安装于第六臂226。
此外，机器人2具有使第一臂221相对于基座21进行转动的第一驱动装置251、使第二臂222相对于第一臂221进行转动的第二驱动装置252、使第三臂223相对于第二臂222进行转动的第三驱动装置253、使第四臂224相对于第三臂223进行转动的第四驱动装置254、使第五臂225相对于第四臂224进行转动的第五驱动装置255、以及使第六臂226相对于第五臂225进行转动的第六驱动装置256。第一～第六驱动装置251～256分别具有例如作为驱动源的电机、控制电机的驱动的控制器、以及检测电机的旋转量的编码器。此外，第一～第六驱动装置251～256分别被机器人控制装置5单独控制。
需要说明的是，机器人2并不限定于本实施方式的构成，例如，机械臂22所具有的臂的数量可以是一只～五只，也可以是七只以上。此外，例如机器人2的种类也可以是SCARA机器人、或具有两只机械臂22的双臂机器人。
机器人控制装置
机器人控制装置5从主机6接收机器人2的位置指令，分别单独控制第一～第六驱动装置251～256的驱动，以使各臂221～226处于与接收到的位置指令相对应的位置。机器人控制装置5例如由计算机构成，具有处理信息的处理器(CPU)、以可通信的方式连接于处理器的存储器、以及外部接口。存储器中保存可通过处理器执行的各种程序，处理器能够读入并执行存储于存储器的各种程序等。
振动传感器
振动传感器7设置于机器人2，检测三维计测装置4、特别是后述的投影部41或拍摄部47的振动。在本实施方式中，振动传感器7以内置于三维计测装置4的状态设置于第五臂225，由此，能够更加精度良好地检测三维计测装置4的振动。这样的振动传感器7只要能够检测振动即可，并不受特别限制，例如可以采用角速度传感器、加速度传感器等。
但是，振动传感器7的配置只要能够检测三维计测装置4、特别是投影部41或拍摄部47的振动即可，并不受特别限制，例如也可以与三维计测装置4分开地设置于第五臂225，也可以设置于第五臂225之外的臂、即与设置有三维计测装置4的臂不同的臂，还可以设置于机器人2之外的部分，例如天花板、地板、墙壁等。在将振动传感器7设置于机器人2之外的部分的情况下，振动传感器7例如可以采用激光型的振动传感器，该激光型的振动传感器向第五臂225射出激光L，通过接收其反射光来检测第五臂225的振动。
三维计测装置
三维计测装置4采用相移法进行对象物W的三维计测。如图2所示，三维计测装置4具备：投影部41，向包括对象物W的区域投影基于激光L的图案光PL；拍摄部47，获取拍摄包括投影了图案光PL的对象物W的区域的拍摄图像；控制部48，具备从振动传感器7接收与三维计测装置3的振动相关的振动信息的振动信息接收部481，基于振动信息接收部481所接收到的振动信息控制投影部41及拍摄部47的驱动；以及计测部49，基于拍摄图像计测对象物W的三维形状。
在这些各构成要素中，至少投影部41及拍摄部47分别固定于机器人2的第五臂225。因此，投影部41及拍摄部47的相对位置关系固定。此外，投影部41配置成向第五臂225的前端侧、即向末端执行器24侧照射激光L，拍摄部47配置成朝向第五臂225的前端侧，并拍摄包括激光L的照射范围的区域。
此处，即便是第五臂225之外的臂221～224，以及226移动也能够维持末端执行器24位于第五臂225的前端侧的关系。因此，通过将投影部41及拍摄部47固定于第五臂225，三维计测装置4始终能够向末端执行器24的前端侧射出激光L，并且能过拍摄末端执行器24的前端侧。因此，通过末端执行器24要把持对象物W时的姿势，也就是说不论末端执行器24相对于对象物W以何种姿势对置，均能够以该姿势向对象物W照射激光L，并且能够拍摄对象物W。因此，能够更加可靠地进行对象物W的三维计测。
但是，投影部41及拍摄部47的配置并不受特别限制，也可以固定于第一～第四臂221～224、或第六臂226。此外，投影部41及拍摄部47也可以固定于彼此不同的臂，分别具备振动传感器7。此外，投影部41及拍摄部47的任一方也可以固定于基座21、地板、天花板、墙壁等不可动的部位。在这种情况下，也可以是，固定于作为运转的部位的臂的投影部41及拍摄部47的任一方具备振动传感器7。
投影部41具有通过向对象物W照射激光L，从而向对象物W投影图4所示的预定的图案光PL的功能。如图2所示，这样的投影部41具有射出激光L的激光源42、包括激光L所通过的多个透镜的光学系统44、以及使通过了光学系统44的激光L向对象物W进行扫描的光扫描部45。激光源42并不受特别限制，例如可以采用垂直腔表面发射激光器(VCSEL)、外腔式垂直面发射激光器(VECSEL)等半导体激光器。
光学系统44具有：聚光透镜441，将激光源42射出的激光L聚光于对象物W附近；以及柱状透镜442，使被聚光透镜441聚光的激光L成为在与后述的转动轴J平行的方向(图2的纸面进深方向)上延伸的线状。
光扫描部45具有扫描通过柱状透镜442而成为线状的激光L的功能。由此，能够使激光L二维(平面状)地扩散而进行照射。这样，通过使激光L二维地扩散，从而随着激光L的光路变长，每单位面积的输出降低。光扫描部45并不受特别限制，例如可以采用MEMS(MicroElectro Mechanical Systems：微电机系统)、电流镜、棱镜等。
本实施方式的光扫描部45由MEMS构成。如图3所示，光扫描部45具有：可动部451；支承可动部451的支承部452；梁部453，连接可动部451和支承部452，能够使可动部451相对于支承部452绕转动轴J转动；镜454，配置于可动部451的正面(图3的纸面正面侧的面)，反射激光L；永磁体455，设置于可动部451的背面(图3的纸面背面侧的面)；以及与永磁体455相对配置的线圈456。
这样的光扫描部45被配置为转动轴J与线状的激光L的延伸方向大致一致。此外，如果对线圈456施加驱动信号，则可动部451绕转动轴J以预定的周期反复进行正转的转动和反转的转动，由此，线状的激光L以平面状进行扫描。
以上，对投影部41进行了说明，但是，其构成只要能够向对象物W投影预定的图案光PL即可，并不受特别限制。例如，在本实施方式中，通过光学系统44使激光L扩散为线状，但是，并不限定于此，例如也可以采用MEMS或电流镜使其扩散为线状。也就是说，也可以采用两个光扫描部45使激光L进行二维扫描。此外，例如也可以采用具有二轴自由度的万向节的MEMS使激光L进行二维扫描。
拍摄部47拍摄至少对一个对象物W投影了图案光PL的状态。即、拍摄部47拍摄包括图案光PL的至少一个对象物W。如图2所示，拍摄部47例如由照相机471构成，该照相机471具备CMOS图像传感器、CCD图像传感器等的拍摄元件472以及聚光透镜473。照相机471与计测部49连接，将图像数据向计测部49发送。
如图2所示，控制部48具有：振动信息接收部481，从振动传感器7接收与三维计测装置4的振动相关的振动信息；以及驱动控制部482，基于振动信息接收部481所接收到的振动信息，控制投影部41及拍摄部47的驱动。控制部48具有：例如由计算机构成，且对信息进行处理的处理器(CPU)；以可通信的方式连接于处理器的存储器；以及外部接口。存储器中存储有可通过处理器执行的各种程序，处理器能够读入并执行存储于存储器的各种程序等。
此处，如上所述，振动传感器7与投影部41及拍摄部47同样地设置于第五臂225，特别是，在本实施方式中，内置于三维计测装置4。因此，通过振动传感器7能够更加精度良好地检测投影部41及拍摄部47的振动。但是，振动传感器7只要能够检测投影部41及拍摄部47中的至少一方的振动即可，振动信息接收部481也是只要能够接收与投影部41及拍摄部47中的至少一方的振动相关的振动信息即可。此外，在投影部41和拍摄部47位于不同的场所，且作用于二者的振动为不同的情况下，也可以在二者上分别设置单独的振动传感器7，将来自于两个振动传感器7的振动大的一方用作振动信息。需要说明的是，振动信息可以列举出振动Q的大小、即振幅的峰值(极大值)、将振幅的绝对值进行了时间平均的值等，但是，并不限定于此。
驱动控制部482通过对线圈456施加驱动信号，从而在控制光扫描部45的驱动的同时，通过对激光源42施加驱动信号来控制激光源42的驱动。驱动控制部482与可动部451的转动同步地从激光源42射出激光L，将例如图4所示的具有由亮度值的明暗所表现的条纹状的反复周期(周期f)的图案光PL投影于对象物W上。但是，图案光PL只要能够用于后述的相移法即可，并不受特别限制。此外，驱动控制部482控制照相机471的驱动，以预定的时机拍摄包括对象物W的区域。
然后，对于驱动控制部482对投影部41及拍摄部47的驱动控制、具体而言对驱动控制部482所执行的相移法进行详细说明。如图5所示，驱动控制部482具有第一拍摄步骤S1：采用投影部41向对象物W投影具有第一周期f1的第一图案光PL1，通过照相机471拍摄包括投影了第一图案光PL1的对象物W的区域。驱动控制部482具有第二拍摄步骤S2：采用投影部41向对象物W投影具有比第一周期f1短的第二周期f2的第二图案光PL2，通过照相机471拍摄包括投影了第二图案光PL2的对象物W的区域。驱动控制部482具有第三拍摄步骤S3：采用投影部41向对象物W投影具有比第二周期f2短的第三周期f3的第三图案光PL3，通过照相机471拍摄包括投影了第三图案光PL3的对象物W的区域。驱动控制部482具有第四拍摄步骤S4：采用投影部41向对象物W投影具有比第三周期f3短的第四周期f4的第四图案光PL4，通过照相机471拍摄包括投影了第四图案光PL4的对象物W的区域。需要说明的是，如图4所示，图案光PL的周期f意指条纹状的反复周期(波长)。
也就是说，即便是在相移法中，驱动控制部482也是采用“多周期相移法”进行对象物W的三维计测，该“多周期相移法”采用具有不同的周期f的多个图案光PL。此处，相移法是随着图案光PL的周期f变长而计测范围扩大，但是，深度分辨能力降低，随着图案光PL的周期f变短而计测范围缩小，但是，深度分辨能力提高。于是，通过采用如上所述的多周期相移法，能够同时实现广计测范围和高深度分辨能力。需要说明的是，多周期相移法并不受特别限制，例如，也可以是在多周期中，每个周期进行多次计测的方法，还可以是在多周期中，每个周期进行不同次数计测的方法。
但是，驱动控制部482至少执行第一拍摄步骤S1和第二拍摄步骤S2即可，例如，也可以省略第三、第四拍摄步骤S3、S4，而且，还可以具有第五拍摄步骤、第六拍摄步骤或者更多的步骤。越是增加步骤，越是能够实现计测范围的扩大和深度分辨能力的提高，但是，随着拍摄次数增加，获取拍摄图像(图像数据)所需的时间增加，机器人2的运转效率下降。因此，结合三维计测的精度及计测范围与机器人2的运转效率之间的平衡，适当地设定步骤的数量即可。
此外，驱动控制部482在第一拍摄步骤S1中，以逐次错开π/2相位的方式向对象物W投影四次第一图案光PL1，每次通过照相机471拍摄包括投影了第一图案光PL1的对象物W的区域。同样地，驱动控制部482在第二拍摄步骤S2中，以逐次错开π/2相位的方式向对象物W投影四次第二图案光PL2，每次通过照相机471拍摄包括投影了第二图案光PL2的对象物W的区域。同样地，驱动控制部482在第三拍摄步骤S3中，以逐次错开π/2相位的方式向对象物W投影四次第三图案光PL3，每次通过照相机471拍摄包括投影了第三图案光PL3的对象物W的区域。同样地，驱动控制部482在第四拍摄步骤S4中，以逐次错开π/2相位的方式向对象物W投影四次第四图案光PL4，每次通过照相机471拍摄包括投影了第四图案光PL4的对象物W的区域。
但是，在第一拍摄步骤S1中，投影错开了相位的第一图案光PL1的次数并不受特别限制，只要是能够根据拍摄结果计算出相位的次数即可。随着增加该次数，能够更加精度良好地计算出相位，但是，随着基于照相机471的拍摄次数的增加，获取拍摄图像(图像数据)所需的时间增加，机器人2的运转效率降低。因此，结合三维计测的精度与机器人2的运转效率之间的平衡，适当地设定第一图案光PL1的投影次数即可。对于第二拍摄步骤S2、第三拍摄步骤S3及第四拍摄步骤S4也是同样的。需要说明的是，图案光PL的投影回数在第一～第四拍摄步骤S1～S4中也可以是彼此相同，还可以是至少一个步骤与其他步骤不同。
以上，对驱动控制部482所进行的相移法进行了说明。然后，对上述的第一～第四拍摄步骤S1～S4的执行时机进行详细说明。在图6中，图示了表示第五臂225移动至用于进行对象物W的三维计测的姿势之后、残留于第五臂225(投影部41及拍摄部47)的振动Q逐步衰减的状态、以及第一～第四拍摄步骤S1～S4的开始时机的图表。
如该图所示，驱动控制部482在振动信息接收部481从振动传感器7接收的振动信息、即振动Q的大小(振幅的峰值)成为第一阈值L1以下时，开始第一拍摄步骤S1，在振动信息接收部481从振动传感器7接收的振动Q的大小成为比第一阈值L1小的第二阈值L2以下时，开始第二拍摄步骤S2，在振动信息接收部481从振动传感器7接收的振动Q的大小成为比第二阈值L2小的第三阈值L3以下时，开始第三拍摄步骤S3，在振动信息接收部481从振动传感器7接收的振动Q的大小成为比第三阈值L3小的第四阈值L4以下时，开始第四拍摄步骤S4。
此处，图案光PL的周期f越长，越是不容易受到振动Q的影响。于是，如上所述，在振动Q较大时，开始采用了周期f最长的第一图案光PL1的第一拍摄步骤S1，由此开始，随着振动Q衰减，按照采用了周期f比第一图案光PL1短的第二图案光PL2的第二拍摄步骤S2、采用了周期f比第二图案光PL2短的第三图案光PL3的第三拍摄步骤S3、采用了周期f比第三图案光PL3短的第四图案光PL4的第四拍摄步骤S4，通过历时逐渐缩短周期f，能够在不断抑制振动Q的影响的同时，进行各第一～第四拍摄步骤S1～S4。因此，与振动Q的大小无关，能够精度良好地进行对象物W的三维计测。此外，通过这样的方法，能够从较大地残留有振动Q时开始进行三维计测，因此，能够缩短从机械臂22成为用于进行对象物W的三维计测的姿势开始至对象物W的三维计测结束为止的时间。因此，机器人2的运转效率得以提高。
需要说明的是，第一阈值L1、第二阈值L2、第三阈值L3及第四阈值L4分别不受特别限制，例如，能够根据采用的图案光PL的周期f、或拍摄部47与光扫描部45的距离适当地进行设定。此外，上述的“振动Q成为第一阈值L1以下时，开始第一拍摄步骤S1”意指如果振动Q的大小(峰值)成为第一阈值L1以下，则开始通过照相机471对包括投影了第一图案光PL1的对象物W的区域的拍摄。受到较大的振动Q的影响是在照相机471拍摄时，因此，至少在该拍摄时如果振动Q的大小(峰值)为第一阈值L1以下，则能够发挥上述的效果。也就是说，关于第一图案光PL1的投影开始时机并不受特别限制，例如，也可以从振动Q的大小成为大于第一阈值L1时开始投影，还可以在成为第一阈值L1以下时开始投影。但是，基于能够缩短三维计测所涉及的时间这一点来说，优选前者。关于上述的“振动Q成为第二阈值L2以下时，开始第二拍摄步骤S2”、“振动Q成为第三阈值L3以下时，开始第三拍摄步骤S3”及“振动Q成为第四阈值L4以下时，开始第四拍摄步骤S4”也是同样的。
此外，存在下述情况，根据拍摄所涉及的时间、振动Q的衰减速度等，在第一拍摄步骤S1结束之前振动Q的大小(峰值)成为第二阈值L2以下的情况。也就是说，存在也可以在第一拍摄步骤S1未结束的期间迎来开始第二拍摄步骤S2的时机的情况。在这样的情况下，在第一拍摄步骤S1结束之后开始第二拍摄步骤S2即可。关于第三、第四拍摄步骤S3、S4也是同样的。
计测部49采用相移法，基于在第一～第四拍摄步骤S1～S4中由拍摄部47所获取的多个拍摄图像(图像数据)，进行对象物W的三维计测。具体而言，计算出包括对象物W的姿势、位置(空间坐标)等的三维信息。此外，计测部49将计算出的对象物W的三维信息向主机6发送。
主机
主机6根据计测部49计算出的对象物W的三维信息生成机器人2的位置指令，将生成的位置指令向机器人控制装置5发送。机器人控制装置5基于从主机6接收到的位置指令分别单独驱动第一～第六驱动装置251～256，使第一～第六臂221～226移动至指示的位置。需要说明的是，在本实施方式中，主机6和计测部49为分体设置，但是并不限定于此，也可以在主机6中搭载计测部49的功能。
以上，对机器人系统1进行了说明。这样的机器人系统1所包括的三维计测装置4是采用激光L进行对象物W的三维计测的装置，如上所述，具备：投影部41，向包括对象物W的区域投影基于激光L的图案光PL；拍摄部47，拍摄包括对象物W的区域的拍摄图像；振动信息接收部481，接收与投影部41或拍摄部47(在本实施方式中为双方)的振动相关的振动信息(振动Q的大小)；以及计测部49，基于拍摄部47所获取的拍摄图像计测对象物W的三维形状。此外，这样的三维计测装置4构成为在振动信息接收部481接收的振动信息成为第一阈值L1以下时，通过拍摄部47对包括投影了具有第一周期f1的第一图案光PL1的对象物W的区域进行拍摄，在振动信息接收部481接收的振动信息成为比第一阈值L1小的第二阈值L2以下时，通过拍摄部47对包括投影了具有比第一周期f1短的第二周期f2的第二图案光PL2的对象物W的区域进行拍摄。通过这样的构成，如上所述，能够抑制振动Q的影响，因此，能够精度良好地进行对象物W的三维计测。此外，能够从较大地残留有振动Q时开始进行三维计测，因此，能够缩短从机械臂22成为用于进行对象物W的三维计测的姿势开始至对象物W的三维计测结束为止的时间。因此，机器人2的运转效率得以提高。
此外，如上所述，三维计测装置4中内置有振动传感器7。也就是说，三维计测装置4具有获取与投影部41或拍摄部47的振动相关的振动信息的振动传感器7。由此，能够精度良好地获取投影部41或拍摄部47的振动信息。因此，能够更加精度良好地进行上述的对象物W的三维计测。
此外，如上所述，机器人2具备：投影部41，设置于机械臂22，向包括对象物W的区域投影基于激光L的图案光PL；拍摄部47，设置于机械臂22，拍摄包括投影了图案光PL的对象物W的区域的拍摄图像；振动信息接收部481，接收与投影部41或拍摄部47(在本实施方式中为双方)的振动相关的振动信息；以及计测部49，基于拍摄图像计测对象物W的三维形状。此外，构成为：在振动信息接收部481接收的振动信息成为第一阈值L1以下时，通过拍摄部47拍摄包括投影了具有第一周期f1的第一图案光PL1的对象物W的区域，在振动信息接收部481接收的振动信息成为比第一阈值L1小的第二阈值L2以下时，通过拍摄部47拍摄包括投影了具有比第一周期f1短的第二周期f2的第二图案光PL2的对象物W的区域。通过这样的构成，如上所述，能够抑制振动Q的影响，因此，能够精度良好地进行对象物W的三维计测。此外，能够从较大地残留有振动Q时开始进行三维计测，因此，能够缩短从机械臂22成为用于进行对象物W的三维计测的姿势开始至对象物W的三维计测结束为止的时间。
此外，如上所述，机器人系统1具备：具备机械臂22的机器人2；三维计测装置4，采用激光L进行对象物W的三维计测；以及机器人控制装置5，基于三维计测装置4的计测结果，控制机器人2的动作。此外，三维计测装置4具备：投影部41，向包括对象物W的区域投影基于激光L的图案光PL；拍摄部47，拍摄包括投影了图案光PL的对象物W的区域的拍摄图像；振动信息接收部481，接收与投影部41或拍摄部47的振动相关的振动信息；以及计测部49，基于拍摄图像计测对象物W的三维形状。此外，构成为：在振动信息接收部481接收的振动信息成为第一阈值L1以下时，通过拍摄部47拍摄包括投影了具有第一周期f1的第一图案光PL1的对象物W的区域，在振动信息接收部481接收的振动信息成为比第一阈值L1小的第二阈值L2以下时，通过拍摄部47拍摄包括投影了具有比第一周期f1短的第二周期f2的第二图案光PL2的对象物W的区域。通过这样的构成，如上所述，能够抑制振动Q的影响，因此，能够精度良好地进行对象物W的三维计测。此外，能够从较大地残留有振动Q时开始进行三维计测，因此，能够缩短从机械臂22成为用于进行对象物W的三维计测的姿势开始至对象物W的三维计测结束为止的时间。
此外，三维计测装置4是采用激光L进行对象物W的三维计测的装置，如上所述，具备：包括处理器的驱动控制部482；投影部41，向包括对象物W的区域投影基于激光L的图案光PL；拍摄部47，拍摄包括投影了图案光PL的对象物W的区域的拍摄图像；振动信息接收部481，接收与投影部41或拍摄部47的振动相关的振动信息；以及计测部49，基于拍摄图像计测对象物W的三维形状。此外，驱动控制部482构成为：在振动信息接收部481接收的振动信息成为第一阈值L1以下时，通过拍摄部47拍摄包括投影了具有第一周期f1的第一图案光PL1的对象物W的区域，在振动信息接收部481接收的振动信息成为比第一阈值L1小的第二阈值L2以下时，通过拍摄部47拍摄包括投影了具有比第一周期f1短的第二周期f2的第二图案光PL2的对象物W的区域。通过这样的构成，如上所述，能够抑制振动Q的影响，因此，能够精度良好地进行对象物W的三维计测。此外，能够从较大地残留有振动Q时开始进行三维计测，因此，能够缩短从机械臂22成为用于进行对象物W的三维计测的姿势开始至对象物W的三维计测结束为止的时间。
第二实施方式
图7是示出本发明的第二实施方式所涉及的机器人系统所具有的三维计测装置的整体构成的图。
在以下的说明中，对第二实施方式的机器人系统1，以与上述的实施方式的不同点为中心进行说明，关于相同的事项，则省略其说明。第二实施方式的机器人系统1除了进行对象物W的三维计测时的控制部48的控制方法不同之外，其他与上述的第一实施方式的机器人系统1大致相同。需要说明的是，在图7中，对于和上述的实施方式相同的构成标注了相同的附图标记。
如图7所示，控制部48具有闪存等的存储部489。此外，如图6所示，在存储部489中存储有振动Q的大小(峰值)成为第一阈值L1的第一时刻T1、振动Q的大小成为第二阈值L2的第二时刻T2、振动Q的大小成为第三阈值L3的第三时刻T3、振动Q的大小成为第四阈值L4的第四时刻T4。此处，第一时刻T1例如也可以说是从机械臂22成为用于进行对象物W的三维计测的姿势的时刻开始至振动Q的大小成为第一阈值L1为止的时间。需要说明的是，在上述内容中，以机械臂22成为用于进行对象物W的三维计测的姿势的时刻为基准，但是，作为基准的时刻并不受特别限制。这种情况对于第二～第四时刻T2～T4也是同样的。
在这样的构成中，驱动控制部482在第一时刻T1之后进行第一拍摄步骤S1，在第二时刻T2之后进行第二拍摄步骤S2，在第三时刻T3之后进行第三拍摄步骤S3，在第四时刻T4之后进行第四拍摄步骤S4。这样，在存储部489中预先存储了第一～第四时刻T1～T4，基于存储的第一～第四时刻T1～T4进行第一～第四拍摄步骤S1～S4，从而使驱动控制部482中的控制更加简单。
此处，第一～第四时刻T1～T4是在示教时存储的。也就是说，使机器人2进行和自动动作时的作业内容相同的动作，根据此时振动信息接收部481接收到的振动Q的大小求得第一～第四时刻T1～T4，将这样求得的第一～第四时刻T1～T4存储于存储部489。由此，存储更加正确的第一～第四时刻T1～T4，因此，能够更加精度良好地进行对象物W的三维计测，并且，能够缩短三维计测所需的时间。
需要说明的是，驱动控制部482例如在机器人2的第n次(但是，n是自然数)的作业时，与上述的第一实施方式同样地，基于振动Q的大小与第一～第四阈值L1～L4的关系依次进行第一～第四拍摄步骤S1～S4，与此同时，将该第n次的作业时的第一～第四时刻T1～T4存储于存储部489。此外，驱动控制部482也可以在第n+1次的作业时，基于就在之前的第n次的作业中所求得的第一～第四时刻T1～T4，依次进行第一～第四拍摄步骤S1～S4。通过这样的构成，无需预先示教第一～第四时刻T1～T4。此外，由于在就在之前的作业中求得第一～第四时刻T1～T4，因此，第一～第四时刻T1～T4更加正确。
需要说明的是，在第n次的作业中所求得的第一～第四时刻T1～T4并不仅限于第n+1次的作业，只要是第n+1次之后的作业，则可以用于任何一次的作业。具体而言，例如可以通过将在第n次的作业中求得的第一～第四时刻T1～T4仅用于第n+1次的作业、将在第n+1次的作业中求得的第一～第四时刻T1～T4仅用于第n+2次的作业的方式，对应于每一次的作业来更新第一～第四时刻T1～T4。此外，例如也可以通过将在第n次的作业中求得的第一～第四时刻T1～T4用于第n+1次～第n+10次的作业、将在第n+10次的作业中求得的第一～第四时刻T1～T4用于第n+11次～第n+20次的作业的方式，将在某次的作业中求得的第一～第四时刻T1～T4用于其后的多次的作业。
此外，例如也可以通过模拟等求得第一～第四时刻T1～T4，将求得的第一～第四时刻T1～T4存储于存储部489。在这种情况下，无需振动传感器7或振动信息接收部481，能够实现机器人系统1的构成的简略化。
如上所述，本实施方式的三维计测装置4具备存储部489，该存储部489存储振动信息(振动Q的大小)成为第一阈值L1的第一时刻T1、以及第一时刻T1之后振动信息成为第二阈值L2的第二时刻T2。此外，驱动控制部482在第一时刻T1之后，通过拍摄部47拍摄包括投影了具有第一周期f1的第一图案光PL1的对象物W的区域，在第二时刻T2之后，通过拍摄部47拍摄投影了具有比第一周期f1短的第二周期f2的第二图案光PL2的对象物W的区域。通过这样的构成，驱动控制部482中的控制更加简单。
此外，如上所述，第一时刻T1及第二时刻T2是在示教时存储的。由此，由于存储更加正确的第一～第四时刻T1～T4，因此，能够更加精度良好地进行对象物W的三维计测，并且，能够缩短三维计测所需的时间。
第三实施方式
图8是示出振动的大小与第一～第四拍摄步骤的开始时机的关系的图表。图9是示出本发明的第三实施方式中的第一～第四拍摄步骤的开始时机的图表。图10是示出振动的大小与第一～第四拍摄步骤的开始时机的关系的图表。
在以下的说明中，对第三实施方式的机器人系统1，以与上述的实施方式的不同点为中心进行说明，关于相同的事项，则省略其说明。第三实施方式的机器人系统1除了进行对象物W的三维计测时的控制部48的控制方法不同之外，其他与上述的第二实施方式的机器人系统1大致相同。需要说明的是，在图8至图10中，对于和上述的实施方式相同的构成标注了相同的附图标记。
例如，如图8所示，可以考虑与第一时刻T1同时开始第一拍摄步骤S1，且使第一拍摄步骤S1结束的第一结束时刻T10处于可开始第二拍摄步骤S2的第二时刻T2之前。需要说明的是，具体而言，第一结束时刻T10是指拍摄部47对包括投影了第一图案光PL1的对象物W的区域的拍摄结束的时刻、即在本实施方式中结束了第四次的拍摄的时刻。
在这种情况下，为了能够顺畅地开始第二拍摄步骤S2，需要在第一结束时刻T10至第二时刻T2之间，持续驱动投影部41的各构成要素、特别是光扫描部45，从而消耗了多余的电力。相反地，如果在第一结束时刻T10至第二时刻T2之间，停止光扫描部45的驱动，则再驱动光扫描部45时，需要进行待机直至可动部451的振幅稳定为止，存在无法顺畅地开始第二拍摄步骤S2的担忧。这样，如果第一结束时刻T10处于第二时刻T2之前，则存在产生某些问题的担忧。
于是，在本实施方式中，驱动控制部482将第一结束时刻T10与第二时刻T2的时间差设为时间ΔT1并存储于存储部489，如图9所示，从第一时刻T1开始经过了时间ΔT1之后进行第一拍摄步骤S1。由此，能够实现实质上不空出时间间隔而连续进行第一拍摄步骤S1和第二拍摄步骤S2。因此，能够解除上述的问题。此外，开始第一拍摄步骤S1的时刻距离第一时刻T1仅迟了时间ΔT1，因此，振动Q的衰减推进为与此相对应的程度，使得第一拍摄步骤S1更加不容易受到振动Q的影响。需要说明的是，时间ΔT1也可以通过教示或模拟等预先存储于存储部489，还可以存储在机器人2的第n次的作业中所求得的时间ΔT1，并将其用于第n+1次之后的作业。
需要说明的是，如图10所示，进而，在使第二拍摄步骤S2结束的第二结束时刻T20处于可开始第三拍摄步骤S3的第三时刻T3之前、使第三拍摄步骤S3结束的第三结束时刻T30处于可开始第四拍摄步骤S4的第四时刻T4之前的情况下，驱动控制部482将第二结束时刻T20与第三时刻T3的时间差设为时间ΔT2并存储于存储部489，并且，将第三结束时刻T30与第四时刻T4的时间差设为时间ΔT3并存储于存储部489，在从第一时刻T1开始经过了加上时间ΔT1、ΔT2、ΔT3的时间之后，进行第一拍摄步骤S1。由此，能够实现实质上不空出时间间隔而连续进行第一～第四拍摄步骤S1～S4。
如上所述，在本实施方式的三维计测装置4中，存储部489将拍摄部47对包括投影了具有第一周期f1的第一图案光PL1的对象物W的区域的拍摄结束时(第一结束时刻T10)至第二时刻T2为止的时间设为时间ΔT1而存储，驱动控制部482使拍摄部47拍摄包括投影了具有第一周期f1的第一图案光PL1的对象物W的区域的时刻、即第一拍摄步骤S1的开始时刻从第一时刻T1推迟时间ΔT1。由此，能够实现实质上不空出时间间隔而连续进行第一拍摄步骤S1和第二拍摄步骤S2。因此，能够进行省电驱动，并且，能够顺畅地开始第二拍摄步骤S2。此外，开始第一拍摄步骤S1的时刻距离第一时刻T1仅迟了时间ΔT1，因此，振动Q的衰减推进为与此相对应的程度，使得第一拍摄步骤S1更加不容易受到振动Q的影响。
第四实施方式
图11及图12分别是示出采用了本发明的第四实施方式中的相移法的三维计测的步骤的流程图。
在以下的说明中，对第四实施方式的机器人系统1，以与上述的实施方式的不同点为中心进行说明，关于相同的事项，则省略其说明。第四实施方式的机器人系统1除了进行对象物W的三维计测时进行HDR(High Dynamic Range：高动感光照)拍摄之外，其他均与上述的第一实施方式的机器人系统1大致相同。需要说明的是，在图11及图12中，分别对与上述的实施方式相同的构成标注了相同的附图标记。
在本实施方式的机器人系统1中，进行对象物W的三维计测时采用HDR合成技术。HDR合成是如下所述的技术：通过拍摄部47边改变曝光边对包括对象物W的区域进行多次拍摄，通过合成这些拍摄图像，生成具有“曝光过度”及“曝光不足”少的宽范围的动态范围的图像。通过采用这样的HDR合成技术，能够获得更加鲜明的图像，与此相对应地，能够精度良好地进行对象物W的三维计测。
与上述的实施方式同样地，驱动控制部482在第一拍摄步骤S1中，以逐次错开π/2相位的方式向对象物W投影四次第一图案光PL1，每次通过照相机471拍摄包括投影了第一图案光PL1的对象物W的区域。即、如图11所示，第一拍摄步骤S1具有通过照相机471拍摄包括投影了具有第一相位α1的第一相位图案光PL11的对象物W的区域的第一相位拍摄步骤S11。第一拍摄步骤S1具有通过照相机471拍摄包括投影了具有从第一相位α1错开了π/2的第二相位α2的第二相位图案光PL12的对象物W的区域的第二相位拍摄步骤S12。第一拍摄步骤S1具有通过照相机471拍摄包括投影了具有从第二相位α2错开了π/2的第三相位α3的第三相位图案光PL13的对象物W的区域的第三相位拍摄步骤S13。第一拍摄步骤S1具有通过照相机471拍摄包括投影了具有从第三相位α3错开了π/2的第四相位α4的第四相位图案光PL14的对象物W的区域的第四相位拍摄步骤S14。
而且，在本实施方式中，为了进行HDR合成，在改变照相机471的曝光的同时反复进行四次上述的第一～第四相位拍摄步骤S11～S14。需要说明的是，曝光可以根据曝光时间(快门速度)、光圈等而使其变化，但是，在本实施方式中，将光圈设为固定，根据曝光时间来使曝光变化。这是因为如果光圈变化则景深变化，存在由于产生失焦等而无法获取均质的图像数据的可能性。
如果进行具体的说明，则如图12所示，驱动控制部482具有：第一曝光步骤XS1，将照相机471的曝光时间设为第一曝光时间r1，依次进行第一～第四相位拍摄步骤S11～S14；第二曝光步骤XS2，将照相机471的曝光时间设为比第一曝光时间r1长的第二曝光时间r2，依次进行第一～第四相位拍摄步骤S11～S14；第三曝光步骤XS3，将照相机471的曝光时间设为比第二曝光时间r2长的第三曝光时间r3，依次进行第一～第四相位拍摄步骤S11～S14；以及第四曝光步骤XS4，将照相机471的曝光时间设为比第三曝光时间r3长的第四曝光时间r4，依次进行第一～第四相位拍摄步骤S11～S14。
此处，照相机471的曝光时间越短、即快门速度越快，越不容易受到振动Q的影响。于是，如上所述，在振动Q最大时，进行以最短的第一曝光时间r1进行拍摄的第一曝光步骤XS1，由此开始可以随着振动Q衰减，进行采用了比第一曝光时间r1长的第二曝光时间r2的第二曝光步骤XS2、采用了比第二曝光时间r2长的第三曝光时间r3的第三曝光步骤XS3、采用了第三曝光时间r3长的第四曝光时间r4的第四曝光步骤XS4，通过历时加长曝光时间，从而在抑制振动Q的影响的同时进行各第一～第四曝光步骤XS1～XS4。因此，能够精度良好地进行对象物W的三维计测。此外，通过这样的方法，能够从较大地残留有振动Q时开始进行第一拍摄步骤S1，因此，能够缩短从机械臂22成为用于进行对象物W的三维计测的姿势开始至对象物W的三维计测结束为止的时间。因此，机器人2的运转效率得以提高。
但是，驱动控制部482至少执行第一曝光步骤XS1和第二曝光步骤XS2即可，例如，也可以省略第三、第四曝光步骤XS3、XS4，而且，也可以具有加长了曝光时间r的第五曝光步骤、第六曝光步骤…。随着步骤的增加，能够获得更加鲜明的图像，但是，对应于拍摄次数的增加，获取拍摄图像(图像数据)所需的时间增加，机器人2的运转效率下降。因此，结合三维计测的精度以及拍摄区域与对象物W的亮度范围、机器人2的运转效率之间的平衡，适当地设定步骤的数量即可。
以上，对第一拍摄步骤S1进行了说明，但是，对于第二拍摄步骤S2、第三拍摄步骤S3及第四拍摄步骤S4也是同样的。因此，对于第二～第四拍摄步骤S2～S4，省略它们的详细说明。
这样，在本实施方式的三维计测装置4中，通过投影部41所形成的第一图案光PL1包括第一相位图案光PL11、以及从第一相位图案光PL11错开了相位的第二相位图案光PL12。此外，拍摄部47以第一曝光时间r1，对包括投影了第一相位图案光PL11的对象物W的区域及包括投影了第二相位图案光PL12的对象物W的区域进行了拍摄之后，以比第一曝光时间r1长的第二曝光时间r2，对包括投影了第一相位图案光PL11的对象物W的区域及包括投影了第二相位图案光PL12的对象物W的区域进行拍摄。通过这样的构成，能够充分地抑制振动Q的影响，能够精度良好地进行对象物W的三维计测。此外，能够从较大地残留有振动Q时开始进行对象物W的三维计测，从而机器人2的运转效率得以提高。
以上，基于图示的实施方式对本发明的三维计测装置、控制装置及机器人系统进行了说明，但是，本发明并不限定于此，各部的构成可替换为具有相同功能的任意的构成。此外，可以在本发明中添加其他的任意的构成物。
例如，在采用了具有两个机械臂22的双臂机器人作为机器人2的情况下，可以将投影部41设置于一个机械臂22的第五臂225，将拍摄部47设置于另一个机械臂22的第五臂225。在这种情况下，通过各机械臂22的动作，使投影部41与拍摄部47的相对位置关系产生变化，但是，由于根据机械臂22的姿势计算出该相对位置关系，从而能够实现基于相移法的对象物W的三维计测。此外，在这种情况下，也可以将振动传感器7设置于一个机械臂22，通过振动传感器7检测投影部41及拍摄部47的一方的振动，由振动信息接收部481接收该振动的信息，还可以将振动传感器7设置于各机械臂22，通过两个振动传感器7检测投影部41及拍摄部47双方的振动，由振动信息接收部481接收这些振动的信息。在后者的情况下，驱动控制部482例如可以基于大的一方的振动Q进行上述的控制。此外，也可以基于二者的平均值进行上述的控制。

Claims (15)

1.一种三维计测装置，其特征在于，具备：
处理器；
投影部，向包括对象物的区域投影基于激光的第一图案光及第二图案光；
拍摄部，对所述区域的拍摄图像进行拍摄；
振动信息接收部，接收与所述投影部或所述拍摄部的振动相关的振动信息；以及
计测部，基于所述拍摄图像计测所述对象物的三维形状，
所述处理器在所述振动信息成为第一阈值以下时，使所述拍摄部对投影了具有第一周期的所述第一图案光的所述区域进行拍摄，
所述处理器在所述振动信息成为比所述第一阈值小的第二阈值以下时，使所述拍摄部对投影了具有比所述第一周期短的第二周期的所述第二图案光的所述区域进行拍摄。
2.根据权利要求1所述的三维计测装置，其特征在于，具备：
存储部，存储所述振动信息成为所述第一阈值的第一时刻以及在所述第一时刻之后所述振动信息成为所述第二阈值的第二时刻，
所述处理器在所述第一时刻之后，使所述拍摄部对包括投影了所述第一图案光的所述对象物的区域进行拍摄，
所述处理器在所述第二时刻之后，使所述拍摄部对包括投影了所述第二图案光的所述对象物的区域进行拍摄。
3.根据权利要求2所述的三维计测装置，其特征在于，
所述第一时刻及所述第二时刻在示教时存储于所述存储部。
4.根据权利要求2或3所述的三维计测装置，其特征在于，
所述存储部存储从所述拍摄部对包括投影了所述第一图案光的所述对象物的区域的拍摄结束时起至所述第二时刻为止的时间，
所述处理器使所述拍摄部对投影了所述第一图案光的所述区域进行拍摄的时刻从所述第一时刻推迟所述时间。
5.根据权利要求1所述的三维计测装置，其特征在于，具有：
获取所述振动信息的振动传感器。
6.根据权利要求2所述的三维计测装置，其特征在于，具有：
获取所述振动信息的振动传感器。
7.根据权利要求3所述的三维计测装置，其特征在于，具有：
获取所述振动信息的振动传感器。
8.根据权利要求4所述的三维计测装置，其特征在于，具有：
获取所述振动信息的振动传感器。
9.根据权利要求1所述的三维计测装置，其特征在于，
所述第一图案光包括第一相位图案光以及从所述第一相位图案光错开相位的第二相位图案光，
所述处理器在以第一曝光时间使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行了拍摄之后，以比所述第一曝光时间长的第二曝光时间，使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行拍摄。
10.根据权利要求2所述的三维计测装置，其特征在于，
所述第一图案光包括第一相位图案光以及从所述第一相位图案光错开相位的第二相位图案光，
所述处理器在以第一曝光时间使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行了拍摄之后，以比所述第一曝光时间长的第二曝光时间，使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行拍摄。
11.根据权利要求3所述的三维计测装置，其特征在于，
所述第一图案光包括第一相位图案光以及从所述第一相位图案光错开相位的第二相位图案光，
所述处理器在以第一曝光时间使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行了拍摄之后，以比所述第一曝光时间长的第二曝光时间，使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行拍摄。
12.根据权利要求4所述的三维计测装置，其特征在于，具备：
所述第一图案光包括第一相位图案光以及从所述第一相位图案光错开相位的第二相位图案光，
所述处理器在以第一曝光时间使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行了拍摄之后，以比所述第一曝光时间长的第二曝光时间，使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行拍摄。
13.根据权利要求5所述的三维计测装置，其特征在于，具备：
所述第一图案光包括第一相位图案光以及从所述第一相位图案光错开相位的第二相位图案光，
所述处理器在以第一曝光时间使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行了拍摄之后，以比所述第一曝光时间长的第二曝光时间，使所述拍摄部对投影了所述第一相位图案光的所述区域及投影了所述第二相位图案光的所述区域进行拍摄。
14.一种机器人，其特征在于，是具备机械臂的机器人，所述机器人具备：
处理器；
投影部，设置于所述机械臂，向包括对象物的区域投影基于激光的第一图案光及第二图案光；
拍摄部，设置于所述机械臂，对所述区域的拍摄图像进行拍摄；
振动信息接收部，接收与所述投影部或所述拍摄部的振动相关的振动信息；以及
计测部，基于所述拍摄图像计测所述对象物的三维形状，
所述处理器在所述振动信息成为第一阈值以下时，使所述拍摄部对投影了具有第一周期的所述第一图案光的所述区域进行拍摄，
所述处理器在所述振动信息成为比所述第一阈值小的第二阈值以下时，使所述拍摄部对投影了具有比所述第一周期短的第二周期的所述第二图案光的所述区域进行拍摄。
15.一种机器人系统，其特征在于，具备：
具备机械臂的机器人；
三维计测装置，采用激光进行对象物的三维计测；以及
机器人控制器，基于所述三维计测装置的计测结果，控制所述机器人的动作，
所述三维计测装置具备：
投影部，向包括所述对象物的区域投影基于激光的第一图案光及第二图案光；
拍摄部，对所述区域的拍摄图像进行拍摄；
振动信息接收部，接收与所述投影部或所述拍摄部的振动相关的振动信息；以及
计测部，基于所述拍摄图像计测所述对象物的三维形状，
所述机器人控制器在所述振动信息成为第一阈值以下时，使所述拍摄部对投影了具有第一周期的所述第一图案光的所述区域进行拍摄，
所述机器人控制器在所述振动信息成为比所述第一阈值小的第二阈值以下时，使所述拍摄部对投影了具有比所述第一周期短的第二周期的所述第二图案光的所述区域进行拍摄。
CN201910822204.6A 2018-09-03 2019-09-02 三维计测装置，机器人及机器人系统 Active CN110871457B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-164241 2018-09-03
JP2018164241A JP7172305B2 (ja) 2018-09-03 2018-09-03 三次元計測装置およびロボットシステム

Publications (2)

Publication Number Publication Date
CN110871457A true CN110871457A (zh) 2020-03-10
CN110871457B CN110871457B (zh) 2023-05-12

Family

ID=69641919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910822204.6A Active CN110871457B (zh) 2018-09-03 2019-09-02 三维计测装置，机器人及机器人系统

Country Status (3)

Country Link
US (1) US11312029B2 (zh)
JP (1) JP7172305B2 (zh)
CN (1) CN110871457B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023222139A1 (zh) * 2022-05-18 2023-11-23 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135495B2 (ja) * 2018-06-26 2022-09-13 セイコーエプソン株式会社 三次元計測装置、制御装置およびロボットシステム
KR20220106839A (ko) * 2020-04-16 2022-07-29 야마하하쓰도키 가부시키가이샤 측정 장치, 검사 장치, 표면 실장기
CN111515955B (zh) * 2020-05-13 2022-02-18 中科新松有限公司 柔性关节机械臂残余抖动抑制方法和抑制装置
JP7392590B2 (ja) * 2020-06-25 2023-12-06 オムロン株式会社 ロボット制御システム、制御プログラムおよび制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005020844B3 (de) * 2005-05-02 2006-07-20 Vision Tools Bildanalyse Systeme Gmbh Genauigkeitsverbesserung von Robotern
CN101903140A (zh) * 2007-11-19 2010-12-01 库卡罗伯特有限公司 机器人、医疗工作台和用于将图像投影到对象表面的方法
CN102528810A (zh) * 2010-10-25 2012-07-04 株式会社安川电机 形状计测装置、机器人系统及形状计测方法
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0854373B1 (en) * 1996-12-17 2004-05-12 Canon Kabushiki Kaisha Focus detecting device
JP4347614B2 (ja) * 2003-06-10 2009-10-21 Ｊｆｅテクノリサーチ株式会社 ３次元曲面形状の測定装置及び測定方法
JP2010125582A (ja) * 2008-12-01 2010-06-10 Seiko Epson Corp ロボットアーム装置、ロボットアーム装置の制御方法および制御プログラム
US8352076B2 (en) 2009-06-03 2013-01-08 Canon Kabushiki Kaisha Robot with camera
JP5693001B2 (ja) * 2009-12-28 2015-04-01 キヤノン株式会社 計測システム、画像補正方法、及びコンピュータプログラム
EP2527784A1 (de) * 2011-05-19 2012-11-28 Hexagon Technology Center GmbH Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
JP2014035198A (ja) * 2012-08-07 2014-02-24 Nikon Corp 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
JP6412372B2 (ja) * 2014-09-02 2018-10-24 キヤノン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
JP2017075887A (ja) * 2015-10-16 2017-04-20 株式会社ニコン 振動検出装置、検査装置、振動検出方法、及び振動検出プログラム
US11768102B2 (en) * 2018-03-29 2023-09-26 Nec Corporation Vibration measurement system, vibration measurement apparatus, vibration measurement method, and computer-readable recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005020844B3 (de) * 2005-05-02 2006-07-20 Vision Tools Bildanalyse Systeme Gmbh Genauigkeitsverbesserung von Robotern
CN101903140A (zh) * 2007-11-19 2010-12-01 库卡罗伯特有限公司 机器人、医疗工作台和用于将图像投影到对象表面的方法
CN102528810A (zh) * 2010-10-25 2012-07-04 株式会社安川电机 形状计测装置、机器人系统及形状计测方法
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023222139A1 (zh) * 2022-05-18 2023-11-23 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法

Also Published As

Publication number Publication date
US20200070370A1 (en) 2020-03-05
US11312029B2 (en) 2022-04-26
JP7172305B2 (ja) 2022-11-16
JP2020038074A (ja) 2020-03-12
CN110871457B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110871457B (zh) 三维计测装置，机器人及机器人系统
KR101605386B1 (ko) 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템
US9492889B2 (en) Laser processing machine
CN110645918B (zh) 三维测量装置、控制装置及机器人系统
JP7135496B2 (ja) 三次元計測装置、制御装置およびロボットシステム
US6801257B2 (en) Optical three-dimensional digital imaging and mensuration system for industrial applications
CN110640749B (zh) 机器人控制装置以及机器人系统
KR100740249B1 (ko) 영상 측정 장치 및 그 방법
JP4767403B2 (ja) 三次元計測装置および三次元計測方法
JP2020159730A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP3424441B2 (ja) 手ブレ補正機能を備えたカメラ
JP3424440B2 (ja) 手ブレ補正機能を備えたカメラ
JP2008134370A (ja) 露光装置
JP2020159732A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP2020159731A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP5205101B2 (ja) パターン描画装置およびパターン描画方法
JP7268553B2 (ja) 揺動角制御方法、三次元計測装置およびロボットシステム
CN111750800B (zh) 三维测量装置及机器人系统
JP2005010207A (ja) 手振れ補正装置
JP7310481B2 (ja) 深度センサーの制御方法、深度センサーおよびロボットシステム
JP7275688B2 (ja) ロボットの部品ピッキングシステム
JP7215472B2 (ja) 撮像装置および撮像方法
JP2005017922A (ja) 補助光投光装置とこれを用いたカメラシステム
JPH0961744A (ja) レーザスポット光走査投光装置
JP2003075902A (ja) カメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant