CN110640749B - 机器人控制装置以及机器人系统 - Google Patents

机器人控制装置以及机器人系统 Download PDF

Info

Publication number
CN110640749B
CN110640749B CN201910556292.XA CN201910556292A CN110640749B CN 110640749 B CN110640749 B CN 110640749B CN 201910556292 A CN201910556292 A CN 201910556292A CN 110640749 B CN110640749 B CN 110640749B
Authority
CN
China
Prior art keywords
robot
laser light
human
arm
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910556292.XA
Other languages
English (en)
Other versions
CN110640749A (zh
Inventor
堀口宏贞
若林修一
日野真希子
镰仓圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN110640749A publication Critical patent/CN110640749A/zh
Application granted granted Critical
Publication of CN110640749B publication Critical patent/CN110640749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/022Optical sensing devices using lasers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047Accessories, e.g. for positioning, for tool-setting, for measuring probes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种机器人控制装置,所述机器人控制装置将利用激光对对象物进行三维计测的三维计测装置和基于对包括所述对象物的检测范围进行拍摄得到的图像对人进行检测的人感传感器连接,其特征在于,具备:人体检测信号接收部,从所述人感传感器接收表示所述检测范围内有人的信号;机器人臂控制部,基于所述信号控制机器人臂,当所述人体检测信号接收部从所述人感传感器接收到表示所述检测范围内有人的信号时,所述机器人臂控制部控制所述机器人臂以使所述激光的发射方向与所述人不同。

Description

机器人控制装置以及机器人系统
技术领域
本发明涉及机器人控制装置以及机器人系统。
背景技术
在专利文献1中公开了在臂上搭载有三维形状测量装置的多关节机器人。另外,搭载于臂上的三维形状测量装置构成为具备:测量用激光照射器,通过向对象物扫描测量用激光而将图形投影到对象物部上;受光器,获取图形投影后的对象物的图像,基于受光器获取到的图像对对象物进行三维计测。
专利文献1:日本特开2004-333369号公报
在这样的结构中,由于三维形状测量装置搭载于臂上,所以测量用激光的发射方向根据臂的方向而变化。因此,存在激光照射到多关节机器人周围的人,对该人造成影响的可能性。
发明内容
本发明的机器人控制装置是一种将利用激光对对象物进行三维计测的三维计测装置和基于对包括所述对象物的检测范围进行拍摄得到的图像对人进行检测的人感传感器连接的机器人控制装置,其特征在于,具备:人体检测信号接收部,从所述人感传感器接收表示所述检测范围内有人的信号;机器人臂控制部,基于所述信号控制机器人臂,当所述人体检测信号接收部从所述人感传感器接收到表示所述检测范围内有人的信号时,所述机器人臂控制部控制所述机器人臂以使所述激光的发射方向与所述人不同。
本发明的机器人系统,其特征在于,具有:机器人,具备机器人臂;三维计测装置,配置于所述机器人臂,并利用激光对对象物进行三维计测;人感传感器,配置于所述机器人臂,并基于图像对人进行检测,所述图像是对包括所述对象物的检测范围进行拍摄得到的;以及机器人控制装置,控制所述机器人,所述机器人控制装置具备:人体检测信号接收部,从所述人感传感器接收表示所述检测范围内有人的信号;以及处理器,基于所述信号控制所述机器人臂,当所述人体检测信号接收部从所述人感传感器接收到表示所述检测范围内有人的信号时,所述处理器控制所述机器人臂以使所述激光的发射方向与所述人不同。
附图说明
图1是表示本发明的第一实施方式所涉及的机器人系统的整体结构的图。
图2是表示机器人的立体图。
图3是表示三维计测装置的整体结构的图。
图4是表示图3所示的三维计测装置具有的光扫描部的俯视图。
图5是表示机器人臂的移动速度的图表。
图6是表示由激光照射部投影的投影图形的俯视图。
图7是表示人感传感器的检测范围的俯视图。
图8是表示人感传感器检测到人的状态的俯视图。
图9是表示在机器人的附近配置有吸收或散射激光L的部件的状态的立体图。
附图标记说明
1…机器人系统、2…机器人、21…基座、22…机器人臂、221…第一臂、222…第二臂、223…第三臂、224…第四臂、225…第五臂、226…第六臂、24…末端执行器、251…第一驱动装置、252…第二驱动装置、253…第三驱动装置、254…第四驱动装置、255…第五驱动装置、256…第六驱动装置、3…人感传感器、31…摄像机、4…三维计测装置、41…激光照射部、42…激光光源、44…光学系统、441…准直透镜、442…棒状透镜、45…光扫描部、451…可动部、452…支撑部、453…梁部、454…反射镜、455…永久磁铁、456…线圈、457…压电电阻部、47…拍摄部、471…摄像机、472…拍摄元件、473…聚光透镜、48…控制装置、482…照射控制部、483…光扫描控制部、484…拍摄控制部、485…点群数据生成部、5…机器人控制装置、51…人体检测信号接收部、52…机器人臂控制部、6…主机、61…计算部、7…部件、A…箭头、A1…区域、A2…区域、A3…区域、A4…区域、J…转动轴、L…激光、O1…第一轴、O2…第二轴、O3…第三轴、O4…第四轴、O5…第五轴、O6…第六轴、P…投影图形、P1…位置、P2…把持位置、Q1…加速区域、Q2…减速区域、SC…拍摄区域、SC1…第一区域、SC2…第二区域、SL…照射范围、V1…第一速度、V2…第二速度、Vm…最大速度、W…对象物、X…人。
具体实施方式
以下,基于附图所示的实施方式,对本发明的机器人控制装置以及机器人系统进行详细说明。
<第一实施方式>
图1是表示本发明的第一实施方式所涉及的机器人系统的整体结构的图。图2是表示机器人的立体图。图3是表示三维计测装置的整体结构的图。图4是表示图3所示的三维计测装置具有的光扫描部的俯视图。图5是表示机器人臂的移动速度的图表。图6是表示由激光照射部投影的投影图形的俯视图。图7是表示人感传感器的检测范围的俯视图。图8是表示人感传感器检测到人的状态的俯视图。图9是表示在机器人的附近配置有吸收或散射激光L的部件的状态的立体图。
图1所示的机器人系统1是以与人共存(协作),即,人在周围进行作业为前提的人共存式机器人系统。因此,机器人系统1构成为,检测到检测范围内有人,并进行与其相对应的应对。
机器人系统1具有:机器人2,具有机器人臂22;人感传感器3,配置于机器人臂22,对机器人2周围的人进行感知;三维计测装置4,配置于机器人臂22,利用激光L对对象物W进行三维计测;机器人控制装置5,基于三维计测装置4的计测结果控制机器人2的驱动;主机6,能够与机器人控制装置5进行通信。这些各部件能够以有线或无线方式进行通信,该通信可以通过诸如因特网之类的网络完成。
这样的机器人系统1构成为,当人感传感器3感知到人时,改变机器人臂22的方向以使激光L不向该人发射。由此,激光L不向人照射,机器人系统1是安全的。以下,对这样的机器人系统1进行详细说明。
<机器人>
机器人2例如是进行精密设备或其构成零件的供料、卸料、搬送以及组装等作业的机器人。但是,作为机器人的用途不做特别限定。
机器人2是六轴机器人,如图2所示,具有:基座21,固定于地板或顶棚;第一臂221,绕着第一轴O1转动自如地连结于基座21;第二臂222,绕着第二轴O2转动自如地连结于第一臂221;第三臂223,绕着第三轴O3转动自如地连结于第二臂222;第四臂224,绕着第四轴O4转动自如地连结于第三臂223;第五臂225,绕着第五轴O5转动自如地连结于第四臂224;第六臂226,绕着第六轴O6转动自如地连结于第五臂225。另外,第六臂226设置有机械手连接部,机械手连接部安装有与机器人2要执行的作业相对应的末端执行器24。
另外,机器人2具有:第一驱动装置251,使第一臂221相对于基座21转动;第二驱动装置252,使第二臂222相对于第一臂221转动;第三驱动装置253,使第三臂223相对于第二臂222转动;第四驱动装置254,使第四臂224相对于第三臂223转动;第五驱动装置255,使第五臂225相对于第四臂224转动;第六驱动装置256,使第六臂226相对于第五臂225转动。第一~第六驱动装置251~256例如分别具有作为驱动源的电动机、控制电动机驱动的控制器以及检测电动机的旋转量的编码器。并且,第一~第六驱动装置251~256分别通过机器人控制装置5独立地被控制。
此外,作为机器人2,不限于本实施方式的结构,例如,臂的数量可以是1条~5条,还可以是7条以上。另外,例如,机器人2的种类可以是SCARA机器人或双臂机器人。
<三维计测装置>
三维计测装置4通过相位偏移法检测对象物W的姿势、位置等。如图3所示,三维计测装置4具有:激光照射部41,对包括对象物W的区域照射激光L;拍摄部47,对激光L照射到的对象物W进行拍摄而获取图像数据;控制装置48,控制激光照射部41或拍摄部47的驱动,或者从拍摄部47获取到的图像数据生成对象物W的三维点群数据。
这些各构成要素中,激光照射部41以及拍摄部47分别固定于机器人2的第五臂225。另外,激光照射部41配置为朝向第五臂225的前端侧(末端执行器24侧)照射激光L,拍摄部47配置为朝向第五臂225的前端侧(末端执行器24侧),对包括激光L的照射范围的区域进行拍摄。
此处,即使第五臂225以外的臂221~224、226动作,也能维持末端执行器24位于第五臂225的前端侧的关系。因此,通过将激光照射部41以及拍摄部47固定于第五臂225,从而通常三维计测装置4能够向末端执行器24的前端侧发射激光L,同时能够对末端执行器24的前端侧进行拍摄。因此,末端执行器24试图把持对象物W时的姿势,也就是说,末端执行器24面向对象物W的姿势无论是处于何种姿势,在该姿势下,能够向对象物W照射激光L,同时能够对对象物W进行拍摄。因此,能够更可靠地对对象物W进行三维计测。
但是,激光照射部41以及拍摄部47的配置没有特别限定,可以固定于第一~第四臂221~224或第六臂226。另外,激光照射部41以及拍摄部47还可以固定于相互不同的臂。另外,激光照射部41以及拍摄部47中的至少一方可以固定于基座21、地板、顶棚、壁等不可动的部位。
激光照射部41具有通过向对象物W照射激光L,从而将规定的投影图形P(参照图6)投影到对象物W上的功能。如图3所示,这样的激光照射部41具有:激光光源42,发射激光L;光学系统44,包括激光L通过的多个透镜;光扫描部45,向对象物W扫描通过光学系统44的激光L。
作为激光光源42不做特别限定,例如,能够利用垂直共振器面发光激光器(VCSEL)、外部共振器型垂直面发光激光器(VECSEL)等半导体激光器。作为激光L的波长不做特别限定,可以为可见区域(400~700nm),还可以为不可见区域(400nm以下,1400nm~1mm),还可以为近红外线区域(700~1400nm)。但是,激光L的波长优选为可见区域(400~700nm)。在可见区域中,即使激光L进入与机器人2共存的人的眼睛,该人立即感到眩晕,能够通过眨眼表示防御反应。因此,通过将激光L的波长设定为可见区域,机器人系统1更安全。
光学系统44具有:准直透镜441,对从激光光源42发射的激光L进行平行化;棒状透镜442(透镜),使由准直透镜441平行化的激光L为沿与后述的转动轴J平行的方向(图3的纸面进深方向)延伸的线状。
光扫描部45具有通过棒状透镜442扫描线状的激光L的功能。由此,能够二维(面状)照射激光L。作为光扫描部45不做特别限定,例如,能够利用MEMS(Micro ElectroMechanical Systems)、电流镜、多面镜等。
本实施方式的光扫描部45由MEMS构成。如图4所示,光扫描部45具有:可动部451;支撑部452,支撑可动部451;梁部453,将可动部451和支撑部452连接,使可动部451绕着转动轴J相对于支撑部452能够转动;反射镜454,配置于可动部451的表面(图4的纸面近前侧的面),反射激光L;永久磁铁455,设置于可动部451的背面(图4的纸面背后侧的面);线圈456,与永久磁铁455相向配置。此外,可动部451、支撑部452以及梁部453例如由硅基板一体形成。
这样的光扫描部45配置为转动轴J与线状的激光L的延伸方向几乎一致。并且,当对线圈456施加驱动信号(交变电压)时,可动部451绕着转动轴J转动,由此,线状的激光L进行扫描。
另外,光扫描部45具有设置于支撑部452的压电电阻部457。伴随着可动部451绕着转动轴J转动,压电电阻部457根据支撑部452产生的应力,电阻值发生变化。因此,在光扫描部45中,基于压电电阻部457的电阻值变化,能够检测可动部451的转动角。此外,压电电阻部457能够通过在硅基板中掺入(扩散或注入)磷、硼等杂质而形成。
以上是对激光照射部41的说明。在这样的激光照射部41中,如前所述,通过光学系统44以及光扫描部45二维散射激光L。因此,越是远离激光照射部41,换言之,激光L的光路长度越长,激光L的强度即激光L能够照射的各区域的每单位时间的能量越少。根据上述结构,能够更有效地抑制高强度的激光L进入与机器人2共存的人的眼睛。因此,对于与机器人2共存的人而言,机器人系统1是安全的。
此外,作为激光照射部41的结构,能够将规定的投影图形P投影到对象物W即可,不做特别限定。例如,在本实施方式中,虽然通过光学系统44线状散射激光L,但是并不限于此,例如,可以利用MEMS或电流镜进行线状散射。也就是说,可以利用两个光扫描部45二维扫描激光L。另外,例如,可以利用具有双轴自由度的万向型MEMS二维扫描激光L。
拍摄部47对投影图形P投影到至少一个对象物W上的状态进行拍摄。即,拍摄部47对包括投影图形P的至少一个对象物W进行拍摄。如图3所示,拍摄部47例如由具备CMOS图像传感器、CCD图像传感器等拍摄元件472和聚光透镜473的摄像机471构成。
如图3所示,控制装置48具有:照射控制部482,控制激光光源42的驱动;光扫描控制部483,控制光扫描部45的驱动;拍摄控制部484,控制拍摄部47的驱动;点群数据生成部485,基于拍摄部47获取到的图像数据生成包括对象物W的区域的三维点群数据。
控制装置48例如由计算机构成,具有处理信息的处理器(CPU)、与处理器可通信地连接的存储器以及外部接口。存储器保存(存储)有处理器能够执行的各种程序,处理器能够读取并执行存储于存储器的各种程序等。
光扫描控制部483通过对线圈456施加驱动信号,从而控制光扫描部45的驱动。另外,光扫描控制部483基于压电电阻部457的电阻值变化,检测可动部451的转动角。此外,光扫描控制部483以非共振方式驱动可动部451。也就是说,光扫描控制部483对线圈456施加具有充分远离具备可动部451和梁部453的振动系统的共振频率的频率的驱动信号。由此,与以共振方式驱动可动部451的情况相比,能够自由控制可动部451的波形、振幅、频率等。但是,光扫描控制部483可以以共振方式驱动可动部451。
光扫描控制部483检测到第五臂225的移动速度为第二速度V2以下之后,开始光扫描部45的驱动。具体地,如图5所示,为了把持对象物W,当第五臂225从当前的位置P1移动至用于把持对象物W的把持位置P2时,至少产生第五臂225进行加速的加速区域Q1和第五臂225进行减速的减速区域Q2。在减速区域Q2中,光扫描控制部483在第五臂225的移动速度为第二速度V2以下之后,开始光扫描部45的驱动。但是,第二速度V2比0(零)大,比机器人臂22的最大速度Vm小。即,满足0<V2<Vm的关系。
由此,例如,与持续驱动光扫描部45的情况相比,能够缩短光扫描部45的驱动时间。因此,能够降低机器人系统1的电力消耗。另外,与在机器人臂22停止之后开始光扫描部45的驱动的情况相比,能够缩短到在机器人臂22停止之后开始对象物W的三维计测为止所需的时间。因此,机器人2的工作效率提高。此外,机器人臂22停止是指各第一~第六驱动装置251~256的驱动停止,不考虑停止后残留的振动(残留振动)。
但是,作为光扫描控制部483的控制,不限于上述控制,例如,可以持续驱动光扫描部45,还可以在机器人臂22停止之后开始光扫描部45的驱动。
另外,照射控制部482在可动部451的转动开始之后从激光光源42发射激光L。例如,当可动部451不转动,并在可动部451的姿势恒定的状态下发射激光L时,激光L连续照射到相同的位置。如果人的眼睛处在激光L的光路上,激光L连续照射到该人的眼睛,根据激光L的强度等,存在对眼睛造成影响的可能性。与此相反,如果在激光L发射之前可动部451开始转动,则不存在激光L进行扫描,连续照射到相同的位置的情况。因此,上述问题几乎不会发生,机器人系统1更安全。
另外,照射控制部482在可动部451停止转动之前,停止从激光光源42发射激光L。由此,激光L通常通过光扫描部45扫描之后进行照射。因此,激光L不会连续照射到人的眼睛,机器人系统1更安全。
另外,照射控制部482在第五臂225的移动速度为比第二速度V2慢的第一速度V1以下之后,发射激光L。但是,第一速度V1比0(零)大。即,满足0<V1<V2的关系。如前所述,由于在第五臂225的移动速度为第二速度V2以下之后,开始光扫描部45的驱动,所以通过在为比第二速度V2慢的第一速度V1之后,发射激光L,从而能够更可靠地在可动部451转动的状态下发射激光L。
但是,作为照射控制部482的控制,不限于上述控制,例如,可以持续发射激光L,还可以在机器人臂22停止之后发射激光L。
拍摄控制部484控制摄像机471的驱动。投影图形P例如是正弦波图形,以每次使相位偏移π/2的方式投影四次,拍摄控制部484每次通过摄像机471对投影图形P投影后的对象物W进行拍摄。但是,投影图形P的投影次数没有特别限定,为能够根据拍摄结果计算相位的次数即可。另外,利用间距大的投影图形或相反间距小的投影图形进行相同的投影和拍摄,可以进行相位连接。随着间距的种类增加,能够提高计测范围和分辨率,但是,随着次数增加,获取图像数据所需的时间增加,机器人2的工作效率降低。因此,出于三维计测的精度以及计测范围和机器人2的工作效率的兼顾,可以适当设定投影图形P的投影次数。
点群数据生成部485利用相位偏移法,从摄像机471获取到的多个图像数据生成包括对象物W的区域的三维点群数据。并且,由点群数据生成部485生成的三维点群数据被发送到主机6。此外,三维点群数据是指例如记录图像数据上的各点的三维坐标的数据。
<主机>
主机6具有基于从点群数据生成部485接收的三维点群数据,计算包括对象物W的姿势、位置(空间坐标)等的三维信息的计算部61。例如,计算部61存储有与对象物W的形状相关的信息,通过将三维点群数据和对象物W的形状进行匹配,能够计算出对象物W的姿势或位置。但是,不限于此,可以从三维点群数据获取对象物W的形状。
另外,主机6从计算出的对象物W的三维信息生成机器人2的位置指令,将生成的位置指令发送到机器人控制装置5。机器人控制装置5基于从主机6接收的位置指令分别独立驱动第一~第六驱动装置251~256,使第一~第六臂221~226移动到所指示的位置。
此外,在本实施方式中,主机6具有计算部61,但是不限于此,例如,可以是三维计测装置4或机器人控制装置5具有计算部61,还可以是其他的装置具有计算部61。
<人感传感器>
如图2所示,人感传感器3固定于机器人2的第五臂225。因此,与固定于第五臂225的激光照射部41的相对位置关系维持恒定。在本实施方式中,人感传感器3具有作为拍摄部的摄像机31,基于摄像机31拍摄到的图像数据检测是否有人,进一步地,当检测到有人时,检测该人的位置。另外,可以利用从图像数据检测人的面部等特征信息的技术,检测人的眼睛的位置。另外,例如,上述摄像机471可以兼作摄像机31。即,摄像机471可以兼具对检测区域内的人进行检测的功能和对投影图形P投影后的对象物W进行拍摄的功能。
如图7所示,作为人感传感器3的检测范围的摄像机31的拍摄区域SC比激光L的照射范围SL大,包含照射范围SL的整个区域。具体地,拍摄区域SC具有与照射范围SL重叠的第一区域SC1、以及位于第一区域SC1的外侧,围绕第一区域SC1的四周的第二区域SC2。由此,通过拍摄区域SC具有第二区域SC2,从而能够更可靠地检测位于照射范围SL内或照射范围SL附近的人。
此外,作为人感传感器3检测的对象,不限于人,例如,可以是人以外的动物、机器人2以外的机器人、AGV(无人搬送车)等移动体、其他能够移动的各种电子设备、能够移动到机器人2附近的任何物体。即使当这些物体存在于拍摄区域SC内时,机器人系统1可以为与对象物是人的情况进行相同判断的结构,还可以为区别于对象物是人的情况的结构。
<机器人控制装置>
机器人控制装置5从主机6接收机器人2的位置指令,分别独立驱动第一~第六驱动装置251~256,以使位于与各臂221~226接收到的位置指令相对应的位置。机器人控制装置5例如由计算机构成,具有处理信息的处理器(CPU)、与处理器可通信地连接的存储器以及外部接口。存储器保存有处理器能够执行的各种程序,处理器能够读取并执行存储于存储器的各种程序等。
另外,如图1所示,机器人控制装置5具备:人体检测信号接收部51,接收来自人感传感器3的信号;机器人臂控制部52,基于来自人感传感器3的信号控制机器人臂22的驱动。并且,当人体检测信号接收部51从人感传感器3接收到表示人感传感器3的检测范围内有人的信号时,机器人臂控制部52驱动第五臂225以使激光L的发射方向与人不同。
例如,从激光照射部41发射激光L的同时,第五臂225从规定的位置向把持位置P2移动的过程中,当摄像机31在拍摄区域SC内检测到人X时,机器人臂控制部52改变第五臂225的方向以使激光L的发射方向与人X不同。由此,抑制激光L向人X照射,对于人X而言,机器人系统1更安全。此外,所述“与人X不同的方向”是指激光L不会照射到人X的眼睛的方向,优选地,是指激光L不会照射到人X的方向,更优选地,是指在检测到人X时激光L不会入射到拍摄区域SC的方向。由此,能够更显著地发挥上述效果。
图8中示出在第五臂225基于位置指令沿着箭头A的方向移动期间,在时刻T1、T2处的拍摄区域SC的图像。在时刻T1,由于人感传感器3未检测到人X,所以机器人臂控制部52基于位置指令,使第五臂225按照原样地沿着箭头A的方向移动。在时刻T2,当人感传感器3检测到人X时,如果使第五臂225按照原样地沿着箭头A的方向移动,则激光L照射到人X。因此,机器人臂控制部52改变第五臂225的方向以使激光L不会照射到人X。此时,第五臂225可以继续沿着箭头A的方向移动。由此,抑制激光L向人X照射,对于人X而言,机器人系统1更安全。
此处,在远离摄像机31规定距离,并且,与摄像机31的光轴正交的虚拟平面上,作为摄像机31的拍摄区域SC,具有与激光L的照射范围SL重叠的第一区域SC1、以及位于第一区域SC1的外侧,围绕第一区域SC1的四周的第二区域SC2。除了人X从最开始就存在于第一区域SC1内的情况之外,如果使第五臂225移动,相比于第一区域SC1,一定是在第二区域SC2中先检测到人X。因此,在人X进入照射范围SL内之前能够检测到人X,能够改变第五臂225的方向以使激光L不会照射到人X。因此,抑制激光L向人X照射,对于人X而言,机器人系统1更安全。特别是,在本实施方式中,第二区域SC2围绕第一区域SC1的四周。因此,无论第五臂225向哪个方向移动,相比于第一区域SC1,总是能够在第二区域SC2中先检测到人X。
另外,如前所述,摄像机31的第二区域SC2进一步地分为两个以上的区域(在本实施方式中为四个区域A1~A4)。因此,当在第二区域SC2内检测到人X时,机器人臂控制部52改变第五臂225的方向,以使激光L的发射方向朝向区域A1~A4中与人X不重叠的区域(在图8中,区域A3、A4)侧。在这种情况下,激光L的发射方向可以朝向区域A3、A4,还可以朝向区域A3、A4的外侧。由此,机器人臂22的控制比较简单,并且抑制激光L向人X照射,对于人X而言,机器人系统1更安全。此外,作为包括在第二区域SC2中的区域的数量,不做特别限定,可以为1~3个,还可以为5个以上。
另外,如图9所示,在机器人2的周边配置由吸收激光L的至少一部分的吸收部件或散射激光L的散射部件组成的部件7,当摄像机31检测到人X时,机器人臂控制部52可以控制第五臂225的驱动以使激光L朝向部件7的方向。由此,抑制激光L向人X照射,对于人X而言,机器人系统1更安全。此外,作为吸收激光L的吸收部件,不做特别限定,例如,能够利用黑色的,表面形成有微小的凹凸的,能够抑制激光L的反射的结构体。另外,作为散射激光L的散射部件,不做特别限定,例如,能够利用具有表面形成有微小的凹凸的反射面,能够漫反射激光L的结构体。
以上是对第五臂225在第五臂225基于位置指令沿着箭头A的方向移动期间的控制方法的说明,例如,在通过三维计测装置4对对象物W进行三维计测期间,摄像机31在拍摄区域SC内检测到人X的情况也是如此。在这种情况下,机器人臂控制部52向三维计测装置4发送停止对象物W的三维计测的指令,同时改变第五臂225的方向以使激光L不会照射到人X。由此,抑制激光L向人X照射,对于人X而言,机器人系统1更安全。此外,在确认没有人X之后,停止的对象物W的三维计测从最初开始重新进行或从中断处恢复。
此外,在上述控制方法中,改变第五臂225的方向以使激光L不会照射到人X,但是不限于此。例如,第五臂225的方向维持原样,可以通过改变光扫描部45处的激光L的扫描方向,改变激光L的发射方向。
当摄像机31在拍摄区域SC内检测到人X时,可以在进行上述机器人臂控制部52的控制的同时,进行如下控制。例如,当摄像机31在拍摄区域SC内检测到人X时,与摄像机31在拍摄区域SC内未检测到人X的情况相比,三维计测装置4可以降低激光L的输出(包括激光L的发射停止),还可以改变光扫描部45的转动角或频率。由此,即使激光L照射到人X,也能够将其能量抑制到很小,所以对于人X而言,机器人系统1更安全。作为降低激光L的输出的方法,不做特别限定,例如,可以举出降低激光光源42的功率的方法、在激光L的光路上配置ND滤波片等减光滤波片的方法、在激光L的光路上配置光圈,缩小该光圈的方法等。
以上是对机器人系统1的说明。这样的机器人系统1如前所述具有:机器人2,具备机器人臂22;三维计测装置4,配置于机器人臂22,利用激光L对对象物W进行三维计测;人感传感器3,配置于机器人臂22,基于对包括对象物W的检测范围进行拍摄得到的图像对人进行检测;机器人控制装置5,控制机器人2。另外,机器人控制装置5具备:人体检测信号接收部51,从人感传感器3接收表示检测范围内有人的信号;机器人臂控制部52,基于所述信号控制机器人臂22。并且,当人体检测信号接收部51从人感传感器3接收到表示检测范围内有人X的信号时,机器人臂控制部52控制机器人臂22以使激光L的发射方向与人X不同。由此,抑制激光L向人X照射,对于人X而言,机器人系统1更安全。
另外,如前所述,机器人控制装置5是一种将利用激光L对对象物W进行三维计测的三维计测装置4和基于对包括对象物W的检测范围进行拍摄得到的图像对人X进行检测的人感传感器3连接的装置,具备:人体检测信号接收部51,从人感传感器3接收表示所述检测范围内有人X的信号;机器人臂控制部52,基于来自人感传感器3的信号控制机器人臂22。并且,当人体检测信号接收部51从人感传感器3接收到表示检测范围内有人X的信号时,机器人臂控制部52控制机器人臂22以使激光L的发射方向与人X不同。由此,抑制激光L向人X照射,对于人X而言,机器人系统1更安全。
另外,如前所述,机器人臂控制部52控制机器人臂22以使激光L朝向吸收或散射激光L的一部分的部件7发射。由此,更可靠地抑制激光L向人X照射,对于人X而言,机器人系统1更安全。
另外,如前所述,人感传感器3的检测范围即拍摄区域SC包含照射范围SL的整个区域。由此,在激光照射到人X之前,能够检测到人。因此,更可靠地抑制激光L向人X照射,对于人X而言,机器人系统1更安全。
另外,如前所述,检测范围即拍摄区域SC被分割为两个以上的区域(区域),当人体检测信号接收部51从人感传感器3接收到表示在人感传感器3的拍摄区域SC内有人X的信号时,机器人臂控制部52控制机器人臂22以使激光L朝向与检测到人X的区域不同的区域侧发射。由此,更可靠地抑制激光L向人X照射,对于人X而言,机器人系统1更安全。
以上是基于附图的实施方式对本发明的机器人控制装置以及机器人系统的说明,但是本发明不限于此,各部的结构能够以发挥同样功能的任意结构置换,另外,还能够附加任意结构。

Claims (4)

1.一种机器人控制装置,其特征在于,将三维计测装置和人感传感器连接,所述三维计测装置利用激光对对象物进行三维计测,所述人感传感器基于图像对人进行检测,所述图像是对包括所述对象物的检测范围进行拍摄得到的,所述机器人控制装置具备:
人体检测信号接收部,从所述人感传感器接收表示所述检测范围内有人的信号;以及
处理器,基于所述信号控制机器人臂,
所述检测范围包括所述激光的照射范围,
所述检测范围分为两个以上的区域,
当所述人体检测信号接收部从所述人感传感器接收到表示所述检测范围内有人的信号时,所述处理器控制所述机器人臂以使所述激光朝向与检测到所述人的区域不同的区域侧发射。
2.根据权利要求1所述的机器人控制装置,其特征在于,
所述处理器控制所述机器人臂以使所述激光朝向吸收或散射一部分所述激光的部件发射。
3.一种机器人系统,其特征在于,具有:
机器人,具备机器人臂;
三维计测装置,配置于所述机器人臂,并利用激光对对象物进行三维计测;
人感传感器,配置于所述机器人臂,并基于图像对人进行检测,所述图像是对包括所述对象物的检测范围进行拍摄得到的;以及
机器人控制装置,控制所述机器人,
所述机器人控制装置具备:
人体检测信号接收部,从所述人感传感器接收表示所述检测范围内有人的信号;以及
处理器,基于所述信号控制所述机器人臂,
所述检测范围包括所述激光的照射范围,
所述检测范围分为两个以上的区域,
当所述人体检测信号接收部从所述人感传感器接收到表示所述检测范围内有人的信号时,所述处理器控制所述机器人臂以使所述激光朝向与检测到所述人的区域不同的区域侧发射。
4.根据权利要求3所述的机器人系统,其特征在于,
还具备吸收或散射一部分所述激光的部件,
所述处理器控制所述机器人臂以使所述激光朝向吸收或散射一部分所述激光的部件发射。
CN201910556292.XA 2018-06-26 2019-06-25 机器人控制装置以及机器人系统 Active CN110640749B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-120987 2018-06-26
JP2018120987A JP7155660B2 (ja) 2018-06-26 2018-06-26 ロボット制御装置およびロボットシステム

Publications (2)

Publication Number Publication Date
CN110640749A CN110640749A (zh) 2020-01-03
CN110640749B true CN110640749B (zh) 2022-11-22

Family

ID=68980495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910556292.XA Active CN110640749B (zh) 2018-06-26 2019-06-25 机器人控制装置以及机器人系统

Country Status (3)

Country Link
US (1) US11235469B2 (zh)
JP (1) JP7155660B2 (zh)
CN (1) CN110640749B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019058993A (ja) * 2017-09-27 2019-04-18 セイコーエプソン株式会社 ロボットシステム
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
JP7135495B2 (ja) * 2018-06-26 2022-09-13 セイコーエプソン株式会社 三次元計測装置、制御装置およびロボットシステム
JP7207010B2 (ja) * 2019-02-27 2023-01-18 セイコーエプソン株式会社 ロボットシステム及びその制御方法
JP6713700B1 (ja) * 2020-03-09 2020-06-24 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム
JP6849262B1 (ja) * 2020-05-28 2021-03-24 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63306894A (ja) * 1987-06-02 1988-12-14 トヨタ自動車株式会社 安全監視方法
JP4375710B2 (ja) 2003-05-09 2009-12-02 パルステック工業株式会社 3次元形状測定装置および3次元形状測定方法
DE102004041821A1 (de) * 2004-08-27 2006-03-16 Abb Research Ltd. Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes
DE102004043514A1 (de) 2004-09-08 2006-03-09 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
FR2902307B1 (fr) * 2006-06-14 2008-08-29 Quidd Sas Dispositif d'imagerie optique
US8676379B2 (en) * 2006-07-04 2014-03-18 Panasonic Corporation Device and method for controlling robot arm, robot, and robot arm control program
JP4568795B2 (ja) * 2009-01-09 2010-10-27 パナソニック株式会社 ロボットアームの制御装置及び制御方法、ロボット、ロボットアームの制御プログラム、並びに、集積電子回路
JP5343641B2 (ja) 2009-03-12 2013-11-13 株式会社Ihi ロボット装置の制御装置及びロボット装置の制御方法
DE102009031732B3 (de) * 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
JP2011062786A (ja) 2009-09-18 2011-03-31 Ihi Corp レーザセンサ制御装置及びレーザセンサ制御方法
US8935005B2 (en) * 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US8576382B2 (en) * 2011-03-22 2013-11-05 Exelis, Inc. Method and apparatus for controlling laser transmissions for enhanced safety
JP5978028B2 (ja) * 2012-06-28 2016-08-24 本田技研工業株式会社 移動ロボットの制御装置
US9043025B2 (en) * 2012-08-31 2015-05-26 Rethink Robotics, Inc. Systems and methods for safe robot operation
US9785911B2 (en) * 2013-07-25 2017-10-10 I AM Robotics, LLC System and method for piece-picking or put-away with a mobile manipulation robot
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9452531B2 (en) * 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
EP3017920B1 (en) * 2014-11-07 2017-08-23 Comau S.p.A. An industrial robot and a method for controlling an industrial robot
JP6559425B2 (ja) 2015-01-06 2019-08-14 株式会社ダイヘン レーザ照射制御装置
JP6034892B2 (ja) * 2015-01-27 2016-11-30 ファナック株式会社 ロボットの設置台の輝度が変化するロボットシステム
JP2017061026A (ja) 2015-09-25 2017-03-30 キヤノン株式会社 ロボット制御装置、ロボット制御方法、ロボットシステム及びコンピュータプログラム
JP2017091930A (ja) * 2015-11-13 2017-05-25 パナソニックIpマネジメント株式会社 照明システム、及び、人の在否提示システム
US10486313B2 (en) * 2016-02-09 2019-11-26 Cobalt Robotics Inc. Mobile robot map generation
DE112017002114T5 (de) 2016-04-22 2019-01-03 Mitsubishi Electric Corporation Objekt-Handhabungsgerät und Objekthandhabungsverfahren
JP2019515288A (ja) * 2016-04-28 2019-06-06 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1個の対象物を光学的に検出するための検出器
EP3243609A1 (en) * 2016-05-09 2017-11-15 OpiFlex Automation AB A fenceless industrial robot system
CN107378941B (zh) * 2016-05-16 2022-02-18 精工爱普生株式会社 机器人、控制装置以及机器人系统
US10414048B2 (en) * 2016-09-14 2019-09-17 Faro Technologies, Inc. Noncontact safety sensor and method of operation
CN107144236A (zh) * 2017-05-25 2017-09-08 西安交通大学苏州研究院 一种机器人自动扫描仪及扫描方法
CN107756417A (zh) * 2017-11-21 2018-03-06 北方民族大学 智能双臂安全协作人机共融机器人系统
US10890921B2 (en) * 2018-05-31 2021-01-12 Carla R. Gillett Robot and drone array
JP7135496B2 (ja) * 2018-06-26 2022-09-13 セイコーエプソン株式会社 三次元計測装置、制御装置およびロボットシステム
JP7135495B2 (ja) * 2018-06-26 2022-09-13 セイコーエプソン株式会社 三次元計測装置、制御装置およびロボットシステム

Also Published As

Publication number Publication date
US11235469B2 (en) 2022-02-01
US20190389065A1 (en) 2019-12-26
JP7155660B2 (ja) 2022-10-19
JP2020001109A (ja) 2020-01-09
CN110640749A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110640749B (zh) 机器人控制装置以及机器人系统
CN110645918B (zh) 三维测量装置、控制装置及机器人系统
US10837759B2 (en) Three-dimensional measuring device, controller, and robot system
JP3263724B2 (ja) 2次元レーザパターンによる形状特徴抽出装置
JP2019502462A5 (zh)
US11312029B2 (en) Three-dimensional measuring apparatus, robot, and robot system
JP7310218B2 (ja) 三次元計測方法、三次元計測装置およびロボットシステム
US20220266454A1 (en) Robot system, end effector system, end effector unit, and adapter
JP2020159730A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
US11693097B2 (en) Optical scanning device, optical measuring apparatus, and robot
JP2014085646A (ja) 光走査装置及び計測システム
CN111750800B (zh) 三维测量装置及机器人系统
JP2020159732A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
KR20080101126A (ko) 거리 측정 장치 및 방법
KR101774653B1 (ko) 공초점 현미경 시스템
JP2020159731A (ja) 三次元計測方法、三次元計測装置およびロボットシステム
JP7268553B2 (ja) 揺動角制御方法、三次元計測装置およびロボットシステム
JP2022184389A (ja) 三次元形状計測方法、三次元形状計測装置およびロボットシステム
CN117836588A (zh) 位置测定装置、位置测定系统以及测定装置
WO2023066472A1 (en) Robotic system comprising an environment sensor
CN113642355A (zh) 可移动式电子装置及其操作方法
JP2021148670A (ja) 測定方法、光学装置、計測装置、移動体、ロボット、電子機器及び造形装置
JPH02298807A (ja) 測定装置
JPH01176970A (ja) 三次元計測機

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant