CN103620341B - 3维形状测量装置和机器人系统 - Google Patents

3维形状测量装置和机器人系统 Download PDF

Info

Publication number
CN103620341B
CN103620341B CN201180071697.6A CN201180071697A CN103620341B CN 103620341 B CN103620341 B CN 103620341B CN 201180071697 A CN201180071697 A CN 201180071697A CN 103620341 B CN103620341 B CN 103620341B
Authority
CN
China
Prior art keywords
light
laser
side mirror
image pickup
mirror portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180071697.6A
Other languages
English (en)
Other versions
CN103620341A (zh
Inventor
一丸勇二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Publication of CN103620341A publication Critical patent/CN103620341A/zh
Application granted granted Critical
Publication of CN103620341B publication Critical patent/CN103620341B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37571Camera detecting reflected light from laser

Abstract

课题是使3维形状的测量处理高速化。为了解决该问题,3维形状测量装置(1)构成为:照射部在变更测量对象区域中的照射位置的同时照射缝状激光,摄像部(16)拍摄缝状激光的反射光,位置检测部(17d)通过扫描由摄像部(16)拍摄的图像来检测激光位置,摄像区域变更部(17b)根据缝状激光的照射位置,变更摄像部(16)的摄像区域的位置。

Description

3维形状测量装置和机器人系统
技术领域
本发明涉及3维形状测量装置和机器人系统。
背景技术
以往已知有测量物体的3维形状的3维形状测量装置(例如,参照专利文献1)。
例如,3维形状测量装置对测量对象物照射缝状的光线,通过摄像机拍摄其反射光。接着,3维形状测量装置通过扫描摄像图像的全部像素,检测摄像图像中的光线的位置,根据检测出的光线的位置计算光线的受光角度。
并且,3维形状测量装置根据作为已知的光线的照射角度和计算出的受光角度,使用三角测量原理,求出测量对象物的高度。通过在变更光线的照射角度的同时反复进行这些处理,3维形状测量装置能够得到测量对象物的3维形状。
现有技术文献
专利文献
专利文献1:日本特开平7-270137号公报
发明内容
发明要解决的问题
但是,在现有的3维形状测量装置中,在根据摄像图像来检测光线位置的处理中,需要较多时间,该时间妨碍了3维形状的测量处理的高速化。
公开的技术是鉴于上述问题而完成的,目的在于能够提供一种可使3维形状的测量处理高速化的3维形状测量装置和机器人系统。
用于解决问题的手段
本申请公开的3维形状测量装置具有:照射部,其在变更测量对象区域中的照射位置的同时照射缝状的光线;摄像部,其拍摄所述光线的反射光;位置检测部,其通过扫描由所述摄像部拍摄的图像,检测所述光线在所述图像中的位置;以及变更部,其根据所述光线的照射位置,变更所述摄像部的摄像区域的位置。
此外,本申请所公开的机器人系统具有:3维形状测量装置;机器人控制装置,其从所述3维形状测量装置取得表示存在于测量对象区域的工件的3维形状的信息,根据取得的信息向机器人指示针对所述工件的规定的作业;以及机器人,其根据来自所述机器人控制装置的指示,进行针对所述工件的规定的作业,所述3维形状测量装置具有:照射部,其在变更所述测量对象区域中的照射位置的同时照射缝状的光线;摄像部,其拍摄所述光线的反射光;位置检测部,其通过扫描由所述摄像部拍摄的图像,检测所述光线在所述图像中的位置;变更部,其根据所述光线的照射位置,变更所述摄像部的摄像区域的位置;以及受光侧镜部,该受光侧镜部使所述光线的反射光反射而入射到所述摄像部,所述变更部通过根据所述光线的照射位置驱动所述受光侧镜部,变更所述摄像区域的位置。
发明效果
根据本申请公开的3维形状测量装置和机器人系统的1个方式,能够使3维形状的测量处理高速化。
附图说明
图1是实施例1的3维形状测量装置的示意外观图。
图2是示出实施例1的3维形状测量装置的结构的框图。
图3是示出摄像区域变更处理的动作例的图。
图4是示出3维形状的测量方法的图。
图5是示出实施例1的3维形状测量装置执行的处理步骤的流程图。
图6-1是驱动速度调整处理的说明图。
图6-2是驱动速度调整处理的说明图。
图6-3是驱动速度调整处理的说明图。
图7是示出实施例2的3维形状测量装置的结构的框图。
图8-1是摄像控制处理的说明图。
图8-2是摄像控制处理的说明图。
图9是示出实施例3的3维形状测量装置的结构的框图。
图10-1是读出范围控制处理的说明图。
图10-2是读出范围控制处理的说明图。
图11是示出3维形状测量装置的另一结构的图。
图12是示出机器人系统的结构的图。
具体实施方式
以下,参照附图,对本申请公开的3维形状测量装置和机器人系统的几个实施例进行详细说明。此外,本发明不受以下所示的实施例的示例限制。
实施例1
首先,使用图1,说明实施例1的3维形状测量装置的外观结构。图1是实施例1的3维形状测量装置的示意外观图。
此外,以下,为了易于理解说明,在测量对象物7的载置面上设置作为垂直坐标系的XY坐标系,以该载置面的垂直向下的方向为Z轴。此外,以下,说明这样的情况:将载置于工作台6上的长方体作为测量对象物7,3维形状测量装置1从垂直向上的方向测量该测量对象物7的3维形状。
如图1所示,3维形状测量装置1是利用扫描动作来取得物体的3维形状的测量装置,该扫描动作使用了缝状的光线(以下,记作“缝状激光”)。首先,3维形状测量装置1从激光装置11向投光侧镜部12照射缝状激光。
接着,3维形状测量装置1通过使投光侧镜部12旋转,在变更工作台6中的照射位置的同时照射缝状激光。此处,在使工作台6中的缝状激光的照射位置从X轴的负方向朝正方向移动的同时,从斜上方对工作台6照射缝状激光。
此外,3维形状测量装置1通过受光侧镜部14使对工作台6或者测量对象物7照射的缝状激光的反射光进一步反射而入射到摄像部16。然后,3维形状测量装置1通过扫描由摄像部16拍摄的图像,检测该图像中的缝状激光的位置,通过使用了检测出的激光位置的三角测量,对测量对象物7的3维形状进行测量。
此处,在本实施例1的3维形状测量装置1中,摄像部16不是拍摄测量对象区域(例如,工作台6的整个表面)的整个区域,而是只拍摄一部分区域。因此,与摄像部拍摄测量对象区域的整个区域的现有3维形状测量装置相比,本实施例1的3维形状测量装置1能够缩短扫描图像所需的时间。即,由于能够在短时间内进行根据由摄像部16拍摄的图像来检测缝状激光的位置的处理,因此,与现有3维形状测量装置相比,能够高速地进行3维形状的测量。
此外,在本实施例1的3维形状测量装置1中,根据缝状激光的照射位置变更摄像区域的位置,由此,即使在如上述那样缩小了摄像区域的情况下,也能够适当地拍摄缝状激光的来自工作台6的反射光。下面,对本实施例1的3维形状测量装置1的结构和动作进行具体说明。
接下来,使用图2,对本实施例1的3维形状测量装置1的结构进行说明。图2是示出本实施例1的3维形状测量装置1的结构的框图。此外,在图2中,仅示出说明3维形状测量装置1的特征所需的构成要素,省略关于一般构成要素的描述。
如图2所示,3维形状测量装置1具有激光装置11、投光侧镜部12、第1驱动部13、受光侧镜部14、第2驱动部15、摄像部16、控制部17和存储部18。
此外,控制部17具有照射控制部17a、摄像区域变更部17b、图像信息取得部17c、位置检测部17d和形状测量部17e。此外,存储部18存储图像信息18a、激光位置信息18b和形状信息18c。
激光装置11是产生缝状激光的光线产生部,其向投光侧镜部12照射所产生的缝状激光。投光侧镜部12是使由激光装置11产生的缝状激光反射而入射到工作台6上的镜部。
第1驱动部13是根据来自照射控制部17a的指示对投光侧镜部12进行旋转驱动的驱动部。该第1驱动部13例如由电机等构成。第1驱动部13通过使投光侧镜部12旋转,使得从激光装置11照射的缝状激光在工作台6上的照射位置从X轴的负方向朝正方向移动。
此外,激光装置11、投光侧镜部12和第1驱动部13是在变更对测量对象物7的照射位置的同时照射缝状激光的照射部的一例。
受光侧镜部14是使缝状激光的来自工作台6上的反射光反射而入射到摄像部16的镜部。第2驱动部15是根据来自摄像区域变更部17b的指示而使受光侧镜部14旋转的驱动部。该第2驱动部15例如由电机等构成。第2驱动部15通过使受光侧镜部14旋转,能够变更摄像部16的摄像区域的位置。
此外,在本实施例1中,如上述那样使用不同的驱动部使投光侧镜部12和受光侧镜部14旋转,但是,也可以使用1个驱动部联动地驱动投光侧镜部12和受光侧镜部14。后面,使用图12对其进行描述。
摄像部16例如是具有CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)传感器作为受光元件的摄像机。该摄像部16拍摄缝状激光的来自工作台6或者测量对象物7的反射光。
此外,摄像部16将拍摄到的图像输出到图像信息取得部17c。此外,摄像部16的受光元件不限于CMOS传感器,也可以应用CCD(ChargeCoupledDevice:电荷耦合器件)传感器等任意的图像传感器。
控制部17是控制3维形状测量装置1整体的控制部,具有照射控制部17a、摄像区域变更部17b、图像信息取得部17c、位置检测部17d和形状测量部17e。
照射控制部17a是进行如下处理的处理部:向激光装置11输出指示照射缝状激光的控制信号,并且向第1驱动部13输出指示使投光侧镜部12旋转的控制信号。
此外,照射控制部17a还进行向摄像区域变更部17b输出表示投光侧镜部12的旋转角度的信息(以下,记作“角度信息”)的处理。
摄像区域变更部17b是根据工作台6中的缝状激光的照射位置来变更摄像部16的摄像区域的位置的处理部。此处,使用图3,对摄像区域变更部17b的摄像区域变更处理进行说明。图3是示出摄像区域变更处理的动作例的图。
摄像区域变更部17b使用从照射控制部17a接收到的角度信息,对第2驱动部15进行指示,使得受光侧镜部14的角度成为与投光侧镜部12的角度对应的角度。
具体而言,投光侧镜部12的角度与工作台6中的缝状激光的照射位置的关系是已知的,投光侧镜部12的角度与摄像部16的摄像区域的关系也是已知的。因此,在本实施例1的3维形状测量装置1中,通过与投光侧镜部12的角度对应地变更受光侧镜部14的角度,如图3所示,能够使摄像部16的摄像区域以跟踪工作台6中的缝状激光的照射位置的方式移动。
由此,即使在摄像部16拍摄工作台6上的区域的一部分的情况下,也能够适当地拍摄缝状激光的来自工作台6的反射光。此外,与摄像部拍摄测量对象区域的整个区域的现有3维形状测量装置相比,能够缩短图像的扫描所需的时间,因此,能够实现3维形状的测量处理的高速化。
此外,本实施例1的摄像区域变更部17b还进行如下处理:根据由位置检测部17d检测出的激光位置求出激光位置的移动速度,根据该移动速度调整受光侧镜部14的驱动速度。后面使用图6-1~图6-3对其进行描述。
返回图2,继续对控制部17进行说明。图像信息取得部17c是这样的处理部:从摄像部16依次取得由摄像部16拍摄的图像,并将其作为图像信息18a存储到存储部18。此处,图像信息取得部17c读出并取得与摄像部16的全部受光元件对应的信息。
位置检测部17d是这样的处理部:根据存储部18中存储的图像信息18a检测由摄像部16拍摄的图像中的激光位置。
具体而言,位置检测部17d逐行地扫描由摄像部16拍摄的图像。并且,位置检测部17d检测所扫描的像素中的亮度超过规定阈值的像素中的表现出最高亮度的像素的位置作为激光位置。此外,在不存在表现出超过规定阈值的亮度的像素的情况下,设为未检测出激光。
位置检测部17d在对全部的行结束了上述检测处理后,将检测结果作为激光位置信息18b存储到存储部18。在本实施例1的3维形状测量装置1中,由于摄像部16的摄像区域小于现有技术中的摄像区域,因此能够在短时间内进行位置检测部17d的激光位置的检测处理。
形状测量部17e是这样的处理部:基于存储部18中存储的激光位置信息18b,利用三角测量原理来测量出测量对象物7的3维形状。此外,形状测量部17e还进行将3维形状的测量结果作为形状信息18c存储到存储部18的处理。
在此,使用图4,简单地说明形状测量部17e的3维形状测量方法。图4是示出3维形状测量方法的图。
如图4所示,在3维形状测量装置1中,以使投光侧镜部12中的缝状激光的反射位置121、受光侧镜部14中的缝状激光的反射位置141、以及摄像部16中的缝状激光的受光位置161位于与工作台6平行的同一平面(以下,记作“基准面Z”)上的方式配置投光侧镜部12、受光侧镜部14和摄像部16。
在此,投光侧镜部12中的缝状激光的反射位置121与受光侧镜部14中的缝状激光的反射位置141之间的距离a是已知的。此外,从基准面Z到工作台6的高度b也是已知的。
首先,形状测量部17e根据投光侧镜部12的旋转角度计算缝状激光相对于测量对象物7的照射角度θ1,并且,根据受光侧镜部14的旋转角度和激光位置信息18b,计算缝状激光的受光角度θ2。
接着,形状测量部17e使用计算出的照射角度θ1、受光角度θ2以及作为已知值的距离a,根据三角测量原理,计算从基准面Z到测量对象物7的高度c。
并且,形状测量部17e通过从作为已知值的高度b减去计算出的高度c,计算出测量对象物7的高度d。这样,通过对测量对象物7的各个部位分别计算高度d,取得测量对象物7的3维形状。
返回图2,对存储部18进行说明。存储部18由非易失性存储器或硬盘驱动器这样的存储设备构成,存储图像信息18a、激光位置信息18b和形状信息18c等。
图像信息18a是表示由摄像部16拍摄的图像的信息,激光位置信息18b是表示由摄像部16拍摄的各图像中的激光位置的信息。此外,形状信息18c是表示由3维形状测量装置1测量出的测量对象物7的3维形状的信息。
接下来,使用图5,对3维形状测量装置1的具体动作进行说明。图5是示出实施例1的3维形状测量装置1执行的处理的处理步骤的流程图。
如图5所示,在3维形状测量装置1中,在根据来自照射控制部17a的控制信号开始缝状激光的照射后(步骤S101),图像信息取得部17c取得由摄像部16拍摄的图像的图像信息(步骤S102)。
接着,在3维形状测量装置1中,位置检测部17d根据由图像信息取得部17c取得的图像的图像信息,进行激光位置的检测处理(步骤S103),形状测量部17e根据激光位置的检测结果,进行3维运算处理(步骤S104),将运算结果作为形状信息18c存储到存储部18(步骤S105)。
接着,在3维形状测量装置1中,判定投光侧镜部12的角度是否达到测量结束角度(步骤S106)。在该处理中,在投光侧镜部12的角度未达到测量结束角度的情况下(步骤S106,否),照射控制部17a使投光侧镜部12旋转规定的角度(步骤S107),摄像区域变更部17b根据投光侧镜部12的角度,使受光侧镜部14旋转规定的角度(步骤S108)。
3维形状测量装置1反复步骤S102~S108的处理,直到投光侧镜部12的角度达到测量结束角度为止,在判定为投光侧镜部12的角度达到测量结束角度时(步骤S106,是),结束处理。
由位置检测部17d检测出的激光位置伴随缝状激光的照射位置而移动。此时,即使缝状激光的照射位置的移动速度即投光侧镜部12的驱动速度固定,由位置检测部17d检测出的激光位置的移动速度有时因测量对象物7的形状而不固定。因此,即使根据缝状激光的照射位置驱动受光侧镜部14,也有可能根据测量对象物7的形状的不同而无法适当地拍摄缝状激光的反射光。
因此,摄像区域变更部17b根据由位置检测部17d检测出的激光位置求出激光位置的移动速度,根据求出的移动速度调整受光侧镜部14的驱动速度,由此,与测量对象物7的形状无关地适当拍摄缝状激光的反射光。
下面,使用图6-1~图6-3,对由摄像区域变更部17b进行的受光侧镜部14的驱动速度的调整处理(以下,称作“驱动速度调整处理”)进行说明。图6-1~图6-3是驱动速度调整处理的说明图。
此外,图6-1示出测量顶面与工作台6平行的测量对象物7a的情况的例子,图6-2和图6-3分别示出测量顶面不与工作台6平行的测量对象物7b、7c的情况的例子。此外,投光侧镜部12的驱动速度V0和摄像部16的图像拍摄间隔设为固定。
如图6-1所示,在测量对象物7a的顶面与工作台6平行的情况下,照射到该测量对象物7a的顶面的缝状激光的反射光以与投光侧镜部12的驱动速度V0大致相同的速度移动。因此,摄像区域变更部17b以与投光侧镜部12相同的驱动速度V0驱动受光侧镜部14。
另一方面,如图6-2所示,测量对象物7b的顶面以朝着缝状激光的移动方向(X轴的正方向)升高的方式倾斜。在该情况下,照射到测量对象物7b的顶面的缝状激光的反射光以低于投光侧镜部12的驱动速度V0的速度移动。
因此,摄像区域变更部17b以低于投光侧镜部12的驱动速度V0的驱动速度V1驱动受光侧镜部14。
此外,如图6-3所示,测量对象物7c的顶面以朝着缝状激光的移动方向(X轴的正方向)降低的方式倾斜。在该情况下,照射到测量对象物7c的顶面的缝状激光的反射光以高于投光侧镜部12的驱动速度V0的速度移动。
因此,摄像区域变更部17b以高于投光侧镜部12的驱动速度V0的驱动速度V2驱动受光侧镜部14。
能够根据位置检测部17d的激光位置的检测历史,计算激光位置的移动速度。例如,摄像区域变更部17b根据从上次拍摄的图像中检测出的激光位置和从上上次拍摄的图像中检测出的激光位置,计算光线的位置的移动速度。
即,摄像部16的图像的拍摄间隔是固定且已知的。因此,摄像区域变更部17b计算从上次拍摄的图像中检测出的激光位置与从上上次拍摄的图像中检测出的激光位置的移动距离,使计算出的移动距离除以摄像部16的图像拍摄间隔,由此计算出激光位置的移动速度。通过使用上次拍摄的图像和上上次拍摄的图像,能够得到与激光位置的当前移动速度最接近的移动速度。
此外,不是必须使用上次拍摄的图像和上上次拍摄的图像来计算激光位置的移动速度。即,摄像区域变更部17b也可以使用在上上次以前拍摄的图像来计算激光位置的移动速度。
这样,摄像区域变更部17b根据由位置检测部17d检测出的激光位置的移动速度,调整受光侧镜部14的驱动速度,因此能够与测量对象物的形状无关地适当拍摄缝状激光的来自测量对象物的反射光。
此外,存在如下趋势:缝状激光的照射位置越靠近测量对象区域的端部,换言之,缝状激光的照射角度θ1(参照图4)越小,则激光位置的移动速度越快。尤其是,当测量对象区域在X方向上较长的情况下,该趋势变得显著。
因此,摄像区域变更部17b例如可以调整为,缝状激光的照射角度θ1越小,则受光侧镜部14的驱动速度越快。由此,能够与缝状激光的照射位置无关地适当拍摄缝状激光的来自测量对象物的反射光。
如上所述,在本实施例1中,照射部在变更测量对象区域中的照射位置的同时照射缝状激光,摄像部拍摄缝状激光的反射光,位置检测部通过扫描由摄像部拍摄的图像来检测激光位置,摄像区域变更部根据缝状激光的照射位置变更摄像部的摄像区域的位置。即,对于测量对象区域,仅对较小的摄像区域进行位置检测处理即可,因此能够缩短位置检测处理所需的时间,使3维形状的测量处理高速化。
此外,在本实施例1中,由于能够变更摄像区域的位置,因此与摄像区域固定的现有3维形状测量装置相比,能够测量更大的范围。
此外,在摄像区域固定的现有3维形状测量装置中,在摄像区域的制约方面,限制了能够测量特定形状(例如金字塔状)的测量对象物的区域,但是在本实施例1的3维形状测量装置1中,由于能够变更摄像区域,因此,对测量对象物的堆放方式没有限制,能够实现自由度更高的测量处理。
此外,在本实施例1的3维形状测量装置1中,激光位置始终位于摄像区域的大致中央处,因此能够抑制镜头畸变的影响,提高测量精度。
此外,在本实施例1的3维形状测量装置1中,能够使用摄像区域比现有3维形状测量装置具有的摄像部小的摄像部,因此能够实现摄像部的成本降低。
实施例2
测量对象物的高度越高,则来自工作台6的反射光的激光位置与来自测量对象物的反射光的激光位置之差(X轴方向的距离)越大。
因此,可以根据由位置检测部17d检测出的激光位置,变更摄像部16的摄像区域的大小。下面,对该情况的例子进行说明。
首先,使用图7,说明实施例2的3维形状测量装置的结构。图7是示出实施例2的3维形状测量装置的结构的框图。此外,在以下的说明中,对于与已说明的部分相同的部分,标注与已说明的部分相同的标号,省略重复的说明。
如图7所示,实施例2的3维形状测量装置1a的控制部17还具有摄像控制部17f。摄像控制部17f是根据由位置检测部17d检测出的激光位置来变更摄像部16的摄像区域的大小的处理部。摄像控制部17f通过控制摄像部16具有的受光元件中的进行受光的受光元件的数量,变更摄像区域的大小。
此处,使用图8-1和图8-2,对摄像控制部17f的摄像控制处理的具体内容进行说明。图8-1和图8-2是摄像控制处理的说明图。此外,图8-1和图8-2所示的符号R表示测量对象区域。
例如,如图8-1所示,从X轴的负方向朝正方向对载置有测量对象物7d的工作台6照射缝状激光。
如图8-1的上图所示,在不对测量对象物7d照射缝状激光的情况下、即在仅对工作台6照射缝状激光的情况下,由位置检测部17d检测出的激光位置L1为图8-2的上图所示的直线状。
在该情况下,摄像控制部17f例如控制进行受光的受光元件的数量,使得摄像区域S1在X轴方向上的宽度成为预先决定的规定的宽度w1。由此,摄像部16在进行下次拍摄时,拍摄X轴方向上的宽度为w1的摄像区域。
另一方面,如图8-1的下图所示,当缝状激光到达载置有测量对象物7d的位置时,如图8-2的下图所示,在来自工作台6的反射光的激光位置L2与来自测量对象物7d的反射光的激光位置L3之间产生差异。即,与没有载置测量对象物7d的位置相比,在载置有测量对象物7d的位置处,所检测出的激光位置在X轴方向上的宽度变大。
因此,摄像控制部17f控制进行受光的受光元件的数量,使得摄像区域S2在X轴方向上的宽度成为比w1大的w2。其结果是,摄像部16在载置有测量对象物7d的位置处的摄像区域S2大于在未载置有测量对象物7d的位置处的摄像区域S1。因此,即使在检测的激光位置在X轴方向上的宽度变大的情况下,也能够适当地检测激光位置。
此外,相反,在未载置有测量对象物7d的位置处的摄像区域S1小于摄像部16在载置有测量对象物7d的位置处的摄像区域S2。因此,能够减少多余的图像数据量,缩短取得图像和检测激光位置所需的时间。
如上所述,在实施例2中,摄像控制部根据由位置检测部检测出的激光位置,变更摄像部的摄像区域的大小。即,根据激光位置在X轴方向上的宽度,增加/减少摄像区域在X轴方向上的宽度,因此能够防止激光位置的漏检,并使3维形状的测量处理更加高速化。
此外,摄像控制部17f例如可以决定如下这样的宽度作为摄像区域在X轴方向上的宽度,该宽度以相对于检测出的激光位置中的X轴负方向侧的端部朝X轴负方向侧隔开规定的距离的位置为起点,以相对于检测出的激光位置中的X轴正方向侧的端部朝X轴正方向侧隔开规定的距离的位置为终点。
例如,在图8-2的下图所示的情况下,决定宽度W2作为摄像区域在X轴方向上的宽度,宽度W2以相对于激光位置L3朝X轴负方向侧隔开规定的距离P1的位置为起点,以相对于激光位置L2朝X轴正方向侧隔开规定的距离P2的位置为终点。此外,朝X轴负方向侧的规定的距离P1和朝X轴正方向侧的规定的距离P2可以是相同的值,也可以是不同的值。
此外,摄像控制部17f也可以根据基于激光位置而计算出的测量对象物的高度(例如,图4所示的高度d)的值,变更摄像区域的大小。即,摄像控制部17f可以根据上次扫描的形状信息确定工件的高度,根据确定出的工件的高度决定摄像区域的宽度。
实施例3
在上述的实施例2中,根据由位置检测部17d检测出的激光位置,变更摄像部16的摄像区域的大小,也可以根据由位置检测部17d检测出的激光位置,变更从摄像部16读出的图像的读出范围。下面,对该情况的例子进行说明。
首先,使用图9,对实施例3的3维形状测量装置的结构进行说明。图9是示出实施例3的3维形状测量装置的结构的框图。此外,在以下的说明中,对于与已说明的部分相同的部分,标注与已说明的部分相同的标号,并省略重复的说明。
如图9所示,实施例3的3维形状测量装置1b的控制部17还具有读出范围控制部17g。读出范围控制部17g是根据由位置检测部17d检测出的激光位置变更从摄像部16读出的图像的读出范围的处理部。读出范围控制部17g指示图像信息取得部17c读出从摄像部16的各个受光元件输入的信息中的来自哪个受光元件的信息,由此进行读出范围的变更。
此处,使用图10-1和图10-2,对读出范围控制部17g的读出范围控制处理的具体内容进行说明。图10-1和图10-2是读出范围控制处理的说明图。
如图10-1所示,与实施例2相同地,从X轴的负方向朝正方向对载置有测量对象物7e的工作台6照射缝状激光。在上述的实施例2中,根据激光位置变更摄像区域的大小,但是,在实施例3中,不进行摄像区域的大小的变更(即,摄像区域在X轴方向上的宽度W0设为固定),而变更来自摄像部16的读出范围。
具体而言,如在实施例2中已经说明的那样,在仅对工作台6照射缝状激光的情况下,由位置检测部17d检测出的激光位置L4成为图10-2的上图所示的直线状。
在该情况下,读出范围控制部17g指示图像信息取得部17c从摄像区域S3中的包含激光位置L4的规定宽度s1的读出范围T1中读出图像信息。由此,图像信息取得部17c在通过摄像部16拍摄下一图像时,仅读出从摄像部16输入的图像信息中的读出范围T1的图像信息,将其作为图像信息18a存储到存储部18。
此外,如图10-1的下图所示,当缝状激光到达载置有测量对象物7e的位置时,如图10-2的下图所示,在来自工作台6的反射光的激光位置L5与来自测量对象物7e的反射光的激光位置L6之间产生差异。
在该情况下,读出范围控制部17g指示图像信息取得部17c从摄像区域S4中的包含激光位置L5和L6的规定宽度s2的读出范围T2中读出图像信息。如图10-2的下图所示,从摄像区域S4读出的图像信息的宽度s2大于从摄像区域S3读出的图像信息的宽度s1。即,读出范围T2大于读出范围T1。由此,图像信息取得部17c在通过摄像部16拍摄下一图像时,仅读出从摄像部16输入的图像信息中的读出范围T2的图像信息,将其作为图像信息18a存储到存储部18。
这样,在实施例3中,读出范围控制部根据由位置检测部检测出的激光位置,变更从摄像部读出的图像的读出范围。即,根据激光位置在X轴方向上的宽度,增加/减小读出范围在X轴方向上的宽度,因此,与实施例2相同,能够防止激光位置的漏检,并使3维形状的测量处理进一步高速化。
此外,与实施例2相同,读出范围控制部可决定如下这样的宽度作为读出范围的X轴方向上的宽度,该宽度以相对于检测出的激光位置中的X轴负方向侧的端部朝X轴负方向侧隔开规定的距离的位置为起点,以相对于检测出的激光位置中的X轴正方向侧的端部朝X轴正方向侧隔开规定的距离的位置为终点。
实施例4
在上述各个实施例中,对分别使用第1驱动部13和第2驱动部15来驱动投光侧镜部12和受光侧镜部14的情况的例子进行了说明,但是不限于此。即,也可以使用1个驱动部,联动地驱动投光侧镜部12和受光侧镜部14。
下面,使用图11,对该情况进行说明。图11是示出3维形状测量装置的另一结构的图。
如图11所示,实施例4的3维形状测量装置1c具有第3驱动部20,来替代第1驱动部13和第2驱动部15。该第3驱动部20与第1驱动部13、第2驱动部15相同地由电机等构成,由摄像区域变更部17b进行驱动控制。
在实施例4的3维形状测量装置1c中,例如,第3驱动部20的轴、投光侧镜部12的旋转轴和受光侧镜部14的旋转轴分别设置有滑轮,带21架设在各个滑轮之间。并且,在3维形状测量装置1c中,使第3驱动部20进行旋转驱动,通过带21将该第3驱动部20的旋转力传递到投光侧镜部12和受光侧镜部14,由此联动地驱动投光侧镜部12和受光侧镜部14。
这样,在实施例4中,摄像区域变更部使用1个驱动部联动地驱动投光侧镜部和受光侧镜部,由此在变更缝状激光的照射位置的同时,根据该照射位置变更摄像部的摄像区域。由此,能够实现3维形状测量装置的成本削减。
此外,在图11中,示出了使投光侧镜部12和受光侧镜部14以相同速度旋转的情况的例子,但是例如也可以适当地将投光侧镜部12和受光侧镜部14的滑轮直径设为不同,由此使投光侧镜部12和受光侧镜部14以不同的速度旋转。此外,也可以在各滑轮、投光侧镜部12以及受光侧镜部14之间分别设置与作为测量对象的距离对应地调整减速比的减速器。
实施例5
接下来,使用图12,对应用了3维形状测量装置的机器人系统的实施例进行说明。图12是示出机器人系统的结构的图。此处对应用了实施例1的3维形状测量装置1的机器人系统的例子进行说明,但是,对于实施例2~4的3维形状测量装置1a~1c也同样适用。
此外,下面将说明使机器人进行从散乱堆放的工件中逐一取出工件的作业的情况的例子。在图12中,图示了螺栓作为工件的一例,但是工件可以是螺栓以外的任意部件。
如图12所示,机器人系统100包含3维形状测量装置1、机器人控制装置2和机器人3。3维形状测量装置1设置在堆积的工件的上方,对工件的3维形状进行测量。
机器人控制装置2与3维形状测量装置1以及机器人3连接,从3维形状测量装置1取得与散乱堆放的工件相关的形状信息18c。此外,机器人控制装置2根据取得的形状信息18c,判别作为作业对象的工件,指示机器人3进行取出已判别的工件的作业。
机器人3例如在具备7轴关节的机械臂的前端具有夹持工件的机器手。该机器人3根据从机器人控制装置2输入的作业对象的工件的位置和方向,驱动机械臂和机器手,夹持并取出工件。此外,机器人3也可以继续进行将取出的工件安装到规定部件上的作业等。
机器人系统100如上述这样构成,3维形状测量装置1使比现有技术的摄像区域小的摄像部16的摄像区域以跟踪缝状激光的照射位置的方式移动,根据由位置检测部17d检测出的激光位置测量工件的3维形状。
由此,根据机器人系统100,能够缩短从通过3维形状测量装置1开始工件的形状测量起到通过机器人3夹持工件为止的处理时间,提高作业效率。
此外,在机器人系统100中,也可以将从机器人控制装置2输出的对机器人3的作业指示输出到3维形状测量装置1,根据该作业指示变更摄像区域的大小或者读出范围的大小。
即,在通过机器人3从堆积的工件中取出特定工件时,有时仅在取出的工件的周边,形状发生变化,在其它区域,形状不发生变化。
因此,3维形状测量装置1根据从机器人控制装置2输出的对机器人3的作业指示,确定由机器人3取出的工件的周边区域,根据确定出的区域,变更摄像区域的大小或者读出范围的大小。例如,3维形状测量装置1可以以使确定出的区域与摄像区域或者读出范围一致的方式变更摄像区域的大小或者读出范围的大小。由此,能够使3维形状的测量处理进一步高速化。
此外,在实施例5中,分开地设置3维形状测量装置1和机器人3,但是3维形状测量装置1也可以一体地设置在机器人3的机械臂的前端部。
在采用该结构的情况下,机器人控制装置2每当机器人3结束工件的安装作业时,驱动机械臂,使3维形状测量装置1移动到能够测量作为作业对象的工件的形状的位置。通过该结构,能够节省机器人系统100的设置空间。
此外,在上述各个实施例中,通过变更投光侧镜部12的角度、即照射角度来变更缝状激光在测量对象区域中的照射位置,但是,也可以在使照射角度保持固定的状态下变更缝状激光在测量对象区域中的照射位置。
例如,通过在使激光装置11与XY平面平行地移动的同时,向测量对象区域照射缝状激光,由此,能够在不变更照射角度的情况下,变更缝状激光在测量对象区域中的照射位置。
此外,在上述各个实施例中,说明了通过对受光侧镜部14进行旋转驱动来变更摄像部16的摄像区域的位置的情况的例子,但是,也可以通过对摄像部16自身进行旋转驱动来变更摄像区域。在该情况下,将摄像部16设在受光侧镜部14的设置位置,使用第2驱动部15来驱动摄像部16即可。
对于本领域技术人员而言,能够容易地导出另外的效果或变形例。因此,本发明的更广泛的方式不限于如上所表达和记述的特定的详细的和代表性的实施方式。因此,在不脱离由权利要求及其等同物定义的、发明的总体概念精神或范围的情况下,可以进行各种变更。
标号说明
1、1a~1c3维形状测量装置
11激光装置
12投光侧镜部
13第1驱动部
14受光侧镜部
15第2驱动部
16摄像部
17控制部
17a照射控制部
17b摄像区域变更部
17c图像信息取得部
17d位置检测部
17e形状测量部
17f摄像控制部
17g读出范围控制部
18存储部
18a图像信息
18b激光位置信息
18c形状信息
2机器人控制装置
3机器人
6工作台
7、7a~7e测量对象物

Claims (7)

1.一种3维形状测量装置,其特征在于,该3维形状测量装置具有:
照射部,其在变更测量对象区域中的照射位置的同时照射缝状的光线;
摄像部,其拍摄所述光线的反射光;
位置检测部,其通过扫描由所述摄像部拍摄的图像,检测所述光线在所述图像中的位置;
变更部,其根据所述光线的照射位置,变更所述摄像部的摄像区域的位置;以及
受光侧镜部,该受光侧镜部使所述光线的反射光反射而入射到所述摄像部,
所述变更部通过根据所述光线的照射位置驱动所述受光侧镜部,变更所述摄像区域的位置。
2.根据权利要求1所述的3维形状测量装置,其特征在于,
所述变更部根据由所述位置检测部检测出的所述光线的位置的移动速度,调整所述受光侧镜部的驱动速度。
3.根据权利要求2所述的3维形状测量装置,其特征在于,
所述变更部根据从上次拍摄的图像中检测出的所述光线的位置和从上上次拍摄的图像中检测出的所述光线的位置,计算所述光线的位置的移动速度。
4.根据权利要求1所述的3维形状测量装置,其特征在于,
所述3维形状测量装置还具有摄像控制部,该摄像控制部根据由所述位置检测部检测出的所述光线的位置,变更所述摄像区域的大小。
5.根据权利要求1所述的3维形状测量装置,其特征在于,
所述3维形状测量装置还具有读出范围控制部,该读出范围控制部根据由所述位置检测部检测出的所述光线的位置,变更从所述摄像部读出的图像的读出范围。
6.根据权利要求1所述的3维形状测量装置,其特征在于,
所述照射部还具有:
光线产生部,其产生所述光线;以及
投光侧镜部,其使由所述光线产生部产生的光线反射而入射到所述测量对象区域,
所述变更部通过使用1个驱动部联动地驱动所述投光侧镜部和所述受光侧镜部,变更所述光线的照射位置,并根据该照射位置,变更所述摄像部的摄像区域的位置。
7.一种机器人系统,其特征在于,该机器人系统具有:
3维形状测量装置;
机器人控制装置,其从所述3维形状测量装置取得表示存在于测量对象区域的工件的3维形状的信息,根据取得的信息向机器人指示针对所述工件的规定的作业;以及
机器人,其根据来自所述机器人控制装置的指示,进行针对所述工件的规定的作业,
所述3维形状测量装置具有:
照射部,其在变更所述测量对象区域中的照射位置的同时照射缝状的光线;
摄像部,其拍摄所述光线的反射光;
位置检测部,其通过扫描由所述摄像部拍摄的图像,检测所述光线在所述图像中的位置;
变更部,其根据所述光线的照射位置,变更所述摄像部的摄像区域的位置;以及
受光侧镜部,该受光侧镜部使所述光线的反射光反射而入射到所述摄像部,
所述变更部通过根据所述光线的照射位置驱动所述受光侧镜部,变更所述摄像区域的位置。
CN201180071697.6A 2011-06-20 2011-06-20 3维形状测量装置和机器人系统 Expired - Fee Related CN103620341B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/064047 WO2012176262A1 (ja) 2011-06-20 2011-06-20 3次元形状計測装置およびロボットシステム

Publications (2)

Publication Number Publication Date
CN103620341A CN103620341A (zh) 2014-03-05
CN103620341B true CN103620341B (zh) 2016-01-20

Family

ID=47422144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180071697.6A Expired - Fee Related CN103620341B (zh) 2011-06-20 2011-06-20 3维形状测量装置和机器人系统

Country Status (5)

Country Link
US (1) US20140104621A1 (zh)
EP (1) EP2722640A4 (zh)
JP (1) JP5716826B2 (zh)
CN (1) CN103620341B (zh)
WO (1) WO2012176262A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD757010S1 (en) * 2015-05-28 2016-05-24 Hewlett-Packard Development Company, L.P. Scanner turntable
JP6189984B2 (ja) * 2016-02-12 2017-08-30 Ckd株式会社 三次元計測装置
CN106426223B (zh) * 2016-12-16 2019-08-06 北京奇虎科技有限公司 一种机器人
CN106767509A (zh) * 2016-12-24 2017-05-31 大连日佳电子有限公司 一种焊锡三维表面扫描方法
JP6464213B2 (ja) * 2017-02-09 2019-02-06 ファナック株式会社 レーザ加工ヘッドおよび撮影装置を備えるレーザ加工システム
DE102017203242B4 (de) 2017-02-28 2021-05-12 Phenospex B.V. Vorrichtung zur Lasertriangulation
JP2019058993A (ja) * 2017-09-27 2019-04-18 セイコーエプソン株式会社 ロボットシステム
JP7135495B2 (ja) 2018-06-26 2022-09-13 セイコーエプソン株式会社 三次元計測装置、制御装置およびロボットシステム
CN109194842A (zh) * 2018-09-30 2019-01-11 先临三维科技股份有限公司 图像采集装置
JPWO2020261494A1 (zh) * 2019-06-27 2020-12-30
JP7308689B2 (ja) * 2019-08-06 2023-07-14 株式会社キーエンス 三次元形状測定装置
JP6670974B1 (ja) * 2019-12-02 2020-03-25 ジック株式会社 ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置
JP2021152525A (ja) * 2020-03-19 2021-09-30 株式会社リコー 計測装置、計測方法、移動体、ロボット、電子機器及び造形装置
US20210291435A1 (en) * 2020-03-19 2021-09-23 Ricoh Company, Ltd. Measuring apparatus, movable apparatus, robot, electronic device, fabricating apparatus, and measuring method
JP2022189080A (ja) * 2021-06-10 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 測距装置、および測距方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1147626A (zh) * 1995-06-02 1997-04-16 四川联合大学 激光片光三维传感系统中降低散斑影响的方法和装置
EP1780502A2 (de) * 2005-10-26 2007-05-02 Mathias Reiter Verfahren und Vorrichtung zur Ermittlung der Form eines Objektes
CN101479082A (zh) * 2006-06-27 2009-07-08 丰田自动车株式会社 机器人装置和机器人装置的控制方法
CN101652625A (zh) * 2007-02-21 2010-02-17 康宁股份有限公司 测量玻璃板中缺陷的装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2844920B2 (ja) * 1990-11-30 1999-01-13 日産自動車株式会社 画像処理装置
JPH0560552A (ja) * 1991-09-05 1993-03-09 Matsushita Electric Ind Co Ltd 高さ測定装置
JPH05149727A (ja) * 1991-11-28 1993-06-15 Mitsubishi Heavy Ind Ltd 三次元形状認識装置
JPH07270137A (ja) 1994-02-10 1995-10-20 Fanuc Ltd スポット光走査型3次元視覚センサ
US6141105A (en) * 1995-11-17 2000-10-31 Minolta Co., Ltd. Three-dimensional measuring device and three-dimensional measuring method
JP2004279367A (ja) * 2003-03-19 2004-10-07 Ricoh Co Ltd 表面欠陥検査装置及び制御プログラム記録媒体
JP2007108002A (ja) * 2005-10-13 2007-04-26 Moritex Corp 光切断法を用いた三次元形状計測装置及び三次元形状計測方法
WO2007125081A1 (en) * 2006-04-27 2007-11-08 Metris N.V. Optical scanning probe
JP4315169B2 (ja) * 2006-06-15 2009-08-19 コニカミノルタセンシング株式会社 三次元形状測定システム
JP5164811B2 (ja) * 2008-11-26 2013-03-21 キヤノン株式会社 作業システム及び情報処理方法
JP2010164377A (ja) * 2009-01-14 2010-07-29 Sony Corp 表面形状測定システム及び表面形状測定方法
JP5422322B2 (ja) * 2009-09-25 2014-02-19 公益財団法人鉄道総合技術研究所 レール変位量測定におけるレール検出方法およびレール変位量測定装置
JP5630208B2 (ja) * 2010-10-25 2014-11-26 株式会社安川電機 形状計測装置、ロボットシステムおよび形状計測方法
WO2012133926A2 (en) * 2011-04-01 2012-10-04 Nikon Corporation Profile measuring apparatus, method for measuring profile, and method for manufacturing structure
JP4821934B1 (ja) * 2011-04-14 2011-11-24 株式会社安川電機 3次元形状計測装置およびロボットシステム
JP5494597B2 (ja) * 2011-09-16 2014-05-14 株式会社安川電機 ロボットシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1147626A (zh) * 1995-06-02 1997-04-16 四川联合大学 激光片光三维传感系统中降低散斑影响的方法和装置
EP1780502A2 (de) * 2005-10-26 2007-05-02 Mathias Reiter Verfahren und Vorrichtung zur Ermittlung der Form eines Objektes
CN101479082A (zh) * 2006-06-27 2009-07-08 丰田自动车株式会社 机器人装置和机器人装置的控制方法
CN101652625A (zh) * 2007-02-21 2010-02-17 康宁股份有限公司 测量玻璃板中缺陷的装置

Also Published As

Publication number Publication date
US20140104621A1 (en) 2014-04-17
EP2722640A1 (en) 2014-04-23
JP5716826B2 (ja) 2015-05-13
EP2722640A4 (en) 2014-11-19
JPWO2012176262A1 (ja) 2015-02-23
CN103620341A (zh) 2014-03-05
WO2012176262A1 (ja) 2012-12-27

Similar Documents

Publication Publication Date Title
CN103620341B (zh) 3维形状测量装置和机器人系统
CN102735166B (zh) 三维扫描仪和机器人系统
EP2769800B1 (en) Laser processing machine
TWI422522B (zh) 搬運裝置之教導方法、記憶媒體、及基板處理設備
JP5170554B2 (ja) 物品収納設備における学習装置
US5671056A (en) Three-dimensional form measuring apparatus and method
KR20140145541A (ko) 3차원 형상 측정장치
US7502504B2 (en) Three-dimensional visual sensor
JP3604542B2 (ja) 板状の物体及び容器内の仕切りを検出する装置及び方法
US20110025823A1 (en) Three-dimensional measuring apparatus
KR20070016752A (ko) 길이 측정장치 및 방법
JP5686012B2 (ja) 表面欠陥検査装置及び方法
CN110504191A (zh) 检查治具和检查方法
TW201043371A (en) Laser processing method, laser processing device, and manufacturing method of solar panels
JP2008294065A (ja) 電子部品の実装方法及び装置
KR20020052940A (ko) 화상 판독 장치 및 화상 판독 방법
US20220105641A1 (en) Belt Conveyor Calibration Method, Robot Control Method, and Robot System
JPH0658215B2 (ja) 半導体ウエハ上の被検査パターンの欠陥検査方法およびその装置
JP3395721B2 (ja) バンプ接合部検査装置及び方法
JP5094435B2 (ja) 自動教示システム
JPH10311705A (ja) 画像入力装置
CN114556045B (zh) 位置测定方法
US20110096158A1 (en) Liquid crystal array inspecting apparatus
JP2003295066A (ja) 顕微鏡装置
JP7283150B2 (ja) 制御装置、検査システム、制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160120

Termination date: 20170620