CN117308824A - 3维测量装置、部件安装装置及3维测量方法 - Google Patents

3维测量装置、部件安装装置及3维测量方法 Download PDF

Info

Publication number
CN117308824A
CN117308824A CN202310756204.7A CN202310756204A CN117308824A CN 117308824 A CN117308824 A CN 117308824A CN 202310756204 A CN202310756204 A CN 202310756204A CN 117308824 A CN117308824 A CN 117308824A
Authority
CN
China
Prior art keywords
point group
group data
component
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310756204.7A
Other languages
English (en)
Inventor
山田友美
小仓丰
山田和范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juki Corp
Original Assignee
Juki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juki Corp filed Critical Juki Corp
Publication of CN117308824A publication Critical patent/CN117308824A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Telephone Function (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Die Bonding (AREA)
  • Image Analysis (AREA)

Abstract

将部件的3维形状的测量处理高速化。3维测量装置具有：模型点群数据生成部，其生成模型点群数据，该模型点群数据表示要安装于基板的部件的模型的3维点群数据；检测点群数据生成部，其基于由3维传感器分别从多个视点检测出的部件的多个检测数据，生成表示部件的3维点群数据的检测点群数据；偏移数据计算部，其关于多个检测点群数据分别对用于使检测点群数据与模型点群数据对位的偏移数据进行计算；以及合并点群数据生成部，其将基于偏移数据而偏移后的多个检测点群数据合并，生成部件的合并点群数据。

Description

3维测量装置、部件安装装置及3维测量方法
技术领域
本说明书中公开的技术涉及3维测量装置、部件安装装置及3维测量方法。
背景技术
在部件安装装置所涉及的技术领域中，已知如专利文献1所公开那样的具有3维测量装置的电子部件安装装置。
专利文献1：日本特开2019－144137号公报
为了使用部件安装装置而高效地生产电子仪器，希望使部件的3维形状的测量处理高速化。
发明内容
本说明书公开了3维测量装置。3维测量装置具有：模型点群数据生成部，其生成模型点群数据，该模型点群数据表示要安装于基板的部件的模型的3维点群数据；检测点群数据生成部，其基于由3维传感器分别从多个视点检测出的部件的多个检测数据，生成表示部件的3维点群数据的检测点群数据；偏移数据计算部，其关于多个检测点群数据分别对用于使检测点群数据与模型点群数据对位的偏移数据进行计算；以及合并点群数据生成部，其将基于偏移数据而偏移后的多个检测点群数据合并，生成部件的合并点群数据。
发明的效果
根据本说明书中公开的技术，部件的3维形状的测量处理得到高速化。
附图说明
图1是表示实施方式所涉及的部件安装装置的斜视图。
图2是表示实施方式所涉及的部件安装装置的侧视图。
图3是表示实施方式所涉及的机器人手的斜视图。
图4是表示实施方式所涉及的机器人手所保持的部件的侧视图。
图5是从下方观察实施方式所涉及的部件的图。
图6是表示实施方式所涉及的3维测量装置的斜视图。
图7是用于对实施方式所涉及的机器人机械手的动作进行说明的图。
图8是表示实施方式所涉及的部件安装装置的框图。
图9是表示实施方式所涉及的运算装置的图像处理方法的流程图。
图10是示意地表示实施方式所涉及的模型点群数据的一个例子的图。
图11是示意地表示实施方式所涉及的检测点群数据的一个例子的图。
图12是用于对实施方式所涉及的偏移数据进行说明的图。
图13是示意地表示实施方式所涉及的合并点群数据的一个例子的图。
图14是用于对将实施方式所涉及的引线部件的引线插入至基板的孔的动作进行说明的图。
图15是用于对将实施方式所涉及的引线部件的引线插入至基板的孔的动作进行说明的图。
图16是表示实施方式所涉及的计算机系统的框图。
具体实施方式
下面，一边参照附图一边对本发明所涉及的实施方式进行说明，但本发明并不限定于实施方式。以下说明的实施方式的结构要素能够适当组合。另外，有时不使用一部分的结构要素。
在实施方式中，对部件安装装置1设定局部坐标系，一边参照局部坐标系一边对各部的位置关系进行说明。作为局部坐标系，设定XYZ正交坐标系。将在规定面内平行于X轴的方向设为X轴方向。将在规定面内平行于与X轴正交的Y轴的方向设为Y轴方向。将平行于与X轴及Y轴各自正交的Z轴的方向设为Z轴方向。将以X轴为中心的旋转方向或倾斜方向设为θX方向。将以Y轴为中心的旋转方向或倾斜方向设为θY方向。将以Z轴为中心的旋转方向或倾斜方向设为θZ方向。规定面是XY平面。Z轴与规定面正交。在实施方式中，规定面设为与水平面平行。Z轴方向为铅垂方向。此外，规定面也可以相对于水平面倾斜。
[部件安装装置]
图1是表示实施方式所涉及的部件安装装置1的斜视图。图2是表示实施方式所涉及的部件安装装置1的侧视图。部件安装装置1将部件100安装于基板200。
如图1及图2所示，部件安装装置1具有基台2、部件供给构件3、基板支撑构件4、机器人手5、机器人机械手6和3维测量装置7。
基台2对部件供给构件3、基板支撑构件4、机器人机械手6及3维测量装置7各自进行支撑。
部件供给构件3对部件100进行供给。在实施方式中，部件供给构件3包含配置部件100的托盘。多个部件100配置于部件供给构件3。多个部件100的种类可以相同，也可以不同。
基板支撑构件4对安装部件100的基板200进行支撑。基板支撑构件4以基板200的上表面和XY平面成为平行的方式对基板200进行支撑。
机器人手5对部件100进行保持。机器人手5设置于机器人机械手6的前端部。
机器人机械手6使机器人手5进行移动。机器人机械手6经由机器人手5对部件100进行保持。机器人机械手6在保持有要安装于基板200的部件100的状态下进行驱动。机器人机械手6包含多关节机器人。在实施方式中，机器人机械手6是垂直多关节机器人。此外，机器人机械手6也可以是水平多关节机器人。机器人机械手6具有：基座构件6A，其固定于基台2；回转构件6B，其支撑于基座构件6A；第1臂6C，其与回转构件6B连结；第2臂6D，其与第1臂6C连结；以及第3臂6E，其与第2臂6D连结。
回转构件6B以回转轴TX为中心能够回转地支撑于基座构件6A。回转轴TX与Z轴平行。第1臂6C以第1转动轴AX1为中心能够转动地与回转构件6B连结。第1转动轴AX1与Z轴正交。第2臂6D以第2转动轴AX2为中心能够转动地与第1臂6C连结。第2转动轴AX2与第1转动轴AX1平行。第3臂6E以第3转动轴AX3为中心能够转动地与第2臂6D连结。第3转动轴AX3与第2转动轴AX2平行。机器人手5安装于第3臂6E。
机器人机械手6具有：回转致动器，其使回转构件6B回转；第1转动致动器，其使第1臂6C转动；第2转动致动器，其使第2臂6D转动；以及第3转动致动器，其使第3臂6E转动。
3维测量装置7对机器人机械手6经由机器人手5所保持的部件100进行测量。3维测量装置7基于相移法对部件100的3维形状进行测量。另外，3维测量装置7基于相移法，对局部坐标系中的部件100的位置及角度进行检测。
[机器人手]
图3是表示实施方式所涉及的机器人手5的斜视图。机器人手5具有：连结构件5A，其安装于第3臂6E；旋转构件5B，其支撑于连结构件5A；以及一对移动构件5C，它们支撑于旋转构件5B。
旋转构件5B以旋转轴RX为中心能够旋转地支撑于连结构件5A。旋转轴RX与第3转动轴AX3正交。一对移动构件5C在相互地接近的方向及远离的方向进行移动。在移动构件5C的下端部设置夹紧部5D。一对夹紧部5D相互地接近及远离。
机器人手5具有：旋转致动器，其使旋转构件5B旋转；以及夹紧致动器，其使一对移动构件5C相互地接近或远离。
在一对夹紧部5D之间配置有部件100的状态下，一对夹紧部5D相互地接近，由此部件100被夹紧部5D保持。一对夹紧部5D相互地远离，由此从夹紧部5D将部件100放开。
在一个移动构件5C配置力觉传感器8。力觉传感器8能够对施加于夹紧部5D的负荷进行检测。
[部件]
图4是表示实施方式所涉及的机器人手5所保持的部件100的侧视图。图5是从下方观察实施方式所涉及的部件100的图。
部件100具有本体部101和从本体部101凸出的多个引线部110。
本体部101包含合成树脂制的壳体。在本体部101的内部空间中例如对如线圈那样的元件进行配置。引线部110是从本体部101凸出的金属制的凸出部。引线部110例如与在本体部101的内部空间中配置的元件连接。
引线部110从本体部101的下表面向下方凸出。在部件100安装于基板200的状态下，本体部101的下表面和基板200的上表面相对。
机器人手5对部件100的本体部101进行保持。一对夹紧部5D通过夹着本体部101而对部件100进行保持。
[3维测量装置]
图6是表示实施方式所涉及的3维测量装置7的斜视图。如图6所示，3维测量装置7在本体部101保持于机器人手5的状态下，对部件100的3维形状进行测量。
3维测量装置7具有投影装置7A、拍摄装置7B和运算装置7C。在实施方式中，投影装置7A及拍摄装置7B各自收容于壳体7D。投影装置7A及拍摄装置7B各自固定于壳体7D。在壳体7D的上端部的开口配置透明构件7E。作为透明构件7E而例示出玻璃板。
投影装置7A在本体部101保持于机器人手5的状态下，对部件100照射条纹图案光。投影装置7A具有：光源；光调制元件，其对从光源射出的光进行光调制而生成条纹图案光；以及射出光学系统，其将由光调制元件生成的条纹图案光射出。作为光调制元件，例示出数字微镜器件(DMD：Digital Mirror Device)、透过型的液晶面板或反射型的液晶面板。
拍摄装置7B从规定的视点对被照射条纹图案光的部件100进行拍摄。拍摄装置7B的视点是指拍摄装置7B相对于部件100的相对的拍摄位置及拍摄角度。拍摄装置7B具有：成像光学系统，其将由部件100反射出的条纹图案光进行成像；以及拍摄元件，其经由成像光学系统而取得部件100的图像数据。作为拍摄元件，例示出CMOS图像传感器(ComplementaryMetal Oxide Semiconductor Image Sensor)或CCD图像传感器(Charge Coupled DeviceImage Sensor)。
在实施方式中，拍摄装置7B作为对部件100进行检测的3维传感器起作用。由拍摄装置7B拍摄到的部件100的拍摄数据作为由3维传感器检测出的部件100的检测数据起作用。
运算装置7C基于被拍摄装置7B拍摄到的部件100的拍摄数据，实施部件100的3维形状的测量处理。运算装置7C基于相移法，实施部件100的3维形状的测量处理。运算装置7C的测量处理包含被拍摄装置7B拍摄到的部件100的拍摄数据的图像处理。运算装置7C包含计算机系统。运算装置7C具有如CPU(Central Processing Unit)那样的处理器、如ROM(Read Only Memory)或RAM(Random Access Memory)那样的存储器和包含能够将信号及数据输入输出的输入输出电路的输入输出接口。
投影装置7A例如一边使正弦波状的明度分布的条纹图案光进行相移、一边对部件100进行照射。机器人手5所保持的部件100配置于透明构件7E的上方。从投影装置7A射出的条纹图案光经由透明构件7E对部件100进行照射。
拍摄装置7B对被照射条纹图案光的部件100进行拍摄。拍摄装置7B经由透明构件7E对部件100进行拍摄。拍摄装置7B从与部件100相比的下方对部件100进行拍摄。拍摄装置7B的视点被规定于部件100的下方。机器人机械手6工作，保持于机器人手5的部件100的位置及角度变化，由此部件100和拍摄装置7B的相对位置及相对角度变化。部件100和拍摄装置7B的相对位置及相对角度变化，由此拍摄装置7B相对于部件100的相对的视点变化。
运算装置7C基于相移法对被拍摄装置7B拍摄到的部件100的拍摄数据进行图像处理，对引线部110的3维数据进行计算。引线部110的3维数据包含由局部坐标系规定的3维空间中的引线部110的弯曲量及引线部110的前端部的坐标。在将引线部110相对于本体部101的设计值上的角度设为理想角度，将引线部110相对于本体部101的实际的角度设为实际角度的情况下，引线部110的弯曲量是指理想角度与实际角度之差。
[机器人机械手的动作]
图7是用于对实施方式所涉及的机器人机械手6的动作进行说明的图。部件安装装置1具有对机器人机械手6进行控制的控制装置9。控制装置9包含计算机系统。如图7所示，在基板200设置供部件100的引线部110插入的孔210。控制装置9基于3维测量装置7的运算装置7C的图像处理结果，对机器人机械手6进行控制，以使得部件100的引线部110插入至基板200的孔210。
[运算装置]
图8是表示实施方式所涉及的部件安装装置1的框图。如图8所示，部件安装装置1具有运算装置7C和控制装置9。
运算装置7C具有模型数据存储部11、模型点群数据生成部12、检测点群数据生成部13、偏移数据计算部14、合并点群数据生成部15和输出部16。
模型数据存储部11对表示部件100的模型的模型数据进行存储。部件100的模型数据包含部件100的设计数据。部件100的设计数据包含3维CAD(Computer Aided Design)数据。
部件100的模型数据是已知数据。部件100的模型数据预先存储于模型数据存储部11。部件100的模型数据包含引线部110的长度、本体部101和引线部110的相对位置、引线部110相对于本体部101的角度(理想角度)及多个引线部110的间隔。
此外，部件100的模型数据也可以不是设计数据。在设计值上的形状即理想形状及设计值上的尺寸即理想尺寸的部件100由3维测量装置7测量出的情况下，可以将理想形状及理想尺寸的部件100的3维数据设为部件100的模型数据。
模型点群数据生成部12基于在模型数据存储部11中存储的部件100的模型数据，生成表示部件100的模型的3维点群数据的模型点群数据Da。模型点群数据Da表示部件100的模型的表面的3维形状。模型点群数据Da是部件100的模型的表面中的3维测量装置7所涉及的多个测量点的集合体。多个测量点各自的位置由X坐标、Y坐标及Z坐标规定。
检测点群数据生成部13基于由拍摄装置7B分别从多个视点拍摄到的部件100的多个拍摄数据，生成表示部件100的3维点群数据的检测点群数据Db。
在实施方式中，检测点群数据生成部13从拍摄装置7B取得部件100的拍摄数据。检测点群数据生成部13基于相移法对所取得的部件100的拍摄数据进行运算处理，生成部件100的3维图像数据。检测点群数据生成部13将生成的3维图像数据变换为3维点群数据即检测点群数据Db。检测点群数据Db表示部件100的表面的3维形状。检测点群数据Db是部件100的表面中的3维测量装置7所涉及的多个测量点的集合体。多个测量点各自的位置由X坐标、Y坐标及Z坐标规定。
在实施方式中，控制装置9对机器人机械手6进行控制，以使得将部件100分别从多个视点通过拍摄装置7B进行拍摄。检测点群数据生成部13基于分别从多个视点拍摄到的多个拍摄数据，生成分别从多个视点观察到的部件100的多个检测点群数据Db。
偏移数据计算部14基于规定的算法，关于多个检测点群数据Db分别对用于使检测点群数据Db与模型点群数据Da对位的偏移数据Df进行计算。偏移数据Df包含用于使检测点群数据Db与模型点群数据Da对位的检测点群数据Db的X轴方向的移动量Δx、检测点群数据Db的Y轴方向的移动量Δy、检测点群数据Db的Z轴方向的移动量Δz、检测点群数据Db的θX方向的旋转量Δθx、检测点群数据Db的θY方向的旋转量Δθy、检测点群数据Db的θZ方向的旋转量Δθz。
作为规定的算法，例示出ICP(Iterative Closest Point)匹配算法。偏移数据计算部14基于如ICP匹配算法那样的已有的算法，关于多个检测点群数据Db分别对用于使检测点群数据Db与模型点群数据Da对位的偏移数据Df进行计算。
合并点群数据生成部15将基于偏移数据Df而偏移后的多个检测点群数据Db合并，生成部件100的合并点群数据Dc。合并点群数据Dc是部件100的3维点群数据。合并点群数据生成部15以多个检测点群数据Db各自与模型点群数据Da吻合的方式使多个检测点群数据Db各自和模型点群数据Da在3维空间对位，生成合并点群数据Dc。
输出部16将由合并点群数据生成部15生成的部件100的合并点群数据Dc输出至控制装置9。运算装置7C的测量处理结果包含由合并点群数据生成部15计算出的引线部110的合并点群数据Dc。引线部110的合并点群数据Dc包含引线部110的弯曲量及引线部110的前端部的坐标。控制装置9基于引线部110的合并点群数据Dc，对机器人机械手6进行控制，以使得引线部110插入至基板200的孔210。
[图像处理方法]
图9是表示实施方式所涉及的运算装置7C的图像处理方法的流程图。为了将部件100安装于基板200，控制装置9对机器人机械手6进行控制，以使得机器人手5接近部件供给构件3。移动至部件供给构件3的机器人手5对配置于部件供给构件3的部件100的本体部101进行保持。在部件100的本体部101被机器人手5保持后，控制装置9对机器人机械手6进行控制，以使得3维测量装置7对机器人手5所保持的部件100进行测量。即，控制装置9对机器人机械手6进行控制，以如参照图6说明的那样，使得机器人手5所保持的部件100配置于3维测量装置7的上方。
在实施方式中，控制装置9对机器人机械手6进行控制，以使得拍摄装置7B分别从多个视点对部件100进行拍摄。即，控制装置9对机器人机械手6进行控制，以使得机器人手5所保持的部件100的位置及角度在3维测量装置7的上方变化。拍摄装置7B分别从不同的多个视点对部件100进行拍摄。
模型点群数据生成部12基于在模型数据存储部11中存储的部件100的模型数据，生成模型点群数据Da(步骤S1)。
图10是示意地表示实施方式所涉及的模型点群数据Da的一个例子的图。如图10所示，在模型点群数据Da中，测量点设置于本体部101的表面的全部及引线部110的表面的全部。在模型点群数据Da中，在测量点不存在缺损。在模型点群数据Da中，测量点被理想地配置。
检测点群数据生成部13取得由拍摄装置7B分别从多个视点拍摄到的部件100的多个拍摄数据。检测点群数据生成部13基于分别从多个视点拍摄到的部件100的多个拍摄数据，生成分别从多个视点观察到的部件100的检测点群数据Db(步骤S2)。
图11是示意地表示实施方式所涉及的检测点群数据Db的一个例子的图。在从多个视点对部件100进行了拍摄的情况下，检测点群数据生成部13生成分别从多个视点观察到的部件100的多个检测点群数据Db。例如在从3个视点对部件100进行拍摄的情况下，如图11所示，检测点群数据生成部13生成从第1视点观察到的部件100的检测点群数据Db1、从第2视点观察到的部件100的检测点群数据Db2和从第3视点观察到的部件100的检测点群数据Db3。
根据拍摄装置7B相对于部件100的相对的拍摄位置及拍摄角度，拍摄装置7B有可能无法对部件100的全部进行拍摄。即，根据拍摄装置7B的视点，有可能在部件100产生死角，在部件100产生无法由拍摄装置7B拍摄的范围。如图11所示，在检测点群数据Db中，有时测量点没有设置于本体部101的表面的至少一部分。另外，在检测点群数据Db中，有时测量点没有设置于引线部110的表面的至少一部分。即，在检测点群数据Db中，有可能在测量点发生缺损。
此外，图11所示的检测点群数据Db是一个例子。可以生成分别从2个视点观察到的2个检测点群数据Db，也可以生成分别从大于或等于4个任意的多个视点观察到的多个检测点群数据Db。
偏移数据计算部14基于规定的算法，关于多个检测点群数据Db分别对用于使检测点群数据Db与模型点群数据Da对位的偏移数据Df进行计算(步骤S3)。
图12是用于对实施方式所涉及的偏移数据Df进行说明的图。如图12所示，偏移数据Df包含用于使检测点群数据Db与模型点群数据Da对位的检测点群数据Db的X轴方向的移动量Δx、检测点群数据Db的Y轴方向的移动量Δy、检测点群数据Db的Z轴方向的移动量Δz、检测点群数据Db的θX方向的旋转量Δθx、检测点群数据Db的θY方向的旋转量Δθy、检测点群数据Db的θZ方向的旋转量Δθz。局部坐标系中的模型点群数据Da的位置及角度预先确定为基准位置及基准角度。局部坐标系中的检测点群数据Db的位置及角度例如能够基于机器人机械手6的驱动量进行计算。因此，偏移数据计算部14基于局部坐标系中的模型点群数据Da的位置及角度和局部坐标系中的检测点群数据Db的位置及角度，能够对用于使检测点群数据Db与模型点群数据Da对位的偏移数据Df进行计算。
偏移数据计算部14基于部件100的特征部对偏移数据Df进行计算。作为部件100的特征部，例示出本体部101的角部或本体部101和引线部110的边界部。偏移数据计算部14以模型点群数据Da的特征部和检测点群数据Db的特征部对位的方式对偏移数据Df进行计算。
此外，在图12中示出了用于使从第1视点观察到的部件100的检测点群数据Db1与模型点群数据Da对位的偏移数据Df。偏移数据计算部14关于在步骤S2中生成的多个检测点群数据Db分别生成偏移数据Df。
合并点群数据生成部15将基于偏移数据Df而偏移后的多个检测点群数据Db合并，生成部件100的合并点群数据Dc。即，合并点群数据生成部15基于在步骤S3中计算出的偏移数据Df使在步骤S2中生成的多个检测点群数据Db各自偏移，将多个检测点群数据Db合并(步骤S4)。
图13是示意地表示实施方式所涉及的合并点群数据Dc的一个例子的图。基于如ICP匹配算法那样的已有的算法，将多个检测点群数据Db合并，由此生成合并点群数据Dc。如参照图11说明的那样，即使在检测点群数据Db中在测量点发生缺损，也通过将多个检测点群数据Db合并，从而测量点的缺损被多个检测点群数据Db相互地弥补。由此，如图13所示，在合并点群数据Dc中，测量点设置于本体部101的表面的全部及引线部110的表面的全部。在合并点群数据Dc中，在测量点实质上不存在缺损。
此外，图13所示的合并点群数据Dc示出部件100的一个引线部110稍微弯曲的例子。
输出部16将在步骤S4中生成的合并点群数据Dc输出至控制装置9。合并点群数据Dc相当于3维测量装置7的测量处理结果(步骤S5)。
控制装置9基于从输出部16输出的合并点群数据Dc，对机器人机械手6进行控制，以使得将部件100安装于基板200。合并点群数据Dc包含引线部110的弯曲量及引线部110的前端部的坐标。控制装置9基于合并点群数据Dc，对机器人机械手6进行控制，以使得将引线部110插入至基板200的孔210。
[引线部的插入]
图14及图15各自是用于对将实施方式所涉及的部件100的引线部110插入至基板200的孔210的动作进行说明的图。在图14及图15所示的例子中，部件100具有2根引线部110。引线部110包含第1引线部111和第2引线部112。基板200的孔210包含供第1引线部111插入的第1孔211和供第2引线部112插入的第2孔212。
在实施方式中，机器人机械手6为多关节机器人。因此，机器人机械手6能够相对于基板200的上表面使部件100倾斜。机器人机械手6能够对基板200的上表面和机器人手5所保持的本体部101的下表面所成的角度任意地进行调整。
如图14所示，例如在第2引线部112弯曲的情况下，控制装置9基于运算装置7C的图像处理结果，对机器人机械手6进行控制，以使得在将第1引线部111向第1孔211插入前，将第2引线部112插入至第2孔212。机器人机械手6一边使部件100倾斜，一边将第2引线部112插入至第2孔212。
在第2引线部112插入至第2孔212后，直至第1引线部111的前端部与基板200的第1孔211相对为止，控制装置9使部件100向－X方向移动。由此，对第2引线部112进行矫正。在直至第1引线部111与基板200的第1孔211相对为止对第2引线部112进行矫正后，如图15所示，控制装置9在第2引线部112配置于第2孔212的状态下，对机器人机械手6进行控制，以使得第1引线部111插入至第1孔211。
[计算机系统]
图16是表示实施方式所涉及的计算机系统1000的框图。上述的运算装置7C及控制装置9各自包含计算机系统1000。计算机系统1000具有如CPU(Central Processing Unit)那样的处理器1001、包含如ROM(Read Only Memory)那样的非易失性存储器及如RAM(Random Access Memory)那样的易失性存储器的主存储器1002、储存器1003和包含输入输出电路的接口1004。运算装置7C及控制装置9各自的功能作为计算机程序而存储于储存器1003。处理器1001从储存器1003读出计算机程序而在主存储器1002展开，按照计算机程序执行上述的处理。此外，计算机程序也可以经由网络而传送至计算机系统1000。
计算机程序按照上述的实施方式，能够使计算机系统1000执行：生成模型点群数据Da，该模型点群数据Da表示要安装于基板200的部件100的模型的3维点群数据；基于由作为3维传感器的拍摄装置7B分别从多个视点检测(拍摄)到的部件100的多个检测数据(拍摄数据)，生成表示部件100的3维点群数据的检测点群数据Db；分别关于多个检测点群数据Db对用于使检测点群数据Db与模型点群数据Da对位的偏移数据Df进行计算；以及将基于偏移数据Df而偏移后的多个检测点群数据Db合并，生成部件100的合并点群数据Dc。
[效果]
如以上说明的那样，3维测量装置7具有：模型点群数据生成部12，其生成模型点群数据Da，该模型点群数据Da表示要安装于基板200的部件100的模型的3维点群数据；检测点群数据生成部13，其基于由作为3维传感器的拍摄装置7B分别从多个视点检测(拍摄)到的部件100的多个检测数据(拍摄数据)，生成表示部件100的3维点群数据的检测点群数据Db；偏移数据计算部14，其关于多个检测点群数据Db分别对用于使检测点群数据Db与模型点群数据Da对位的偏移数据Df进行计算；以及合并点群数据生成部，其将基于偏移数据Df而偏移后的多个检测点群数据Db合并，生成部件100的合并点群数据Dc。
根据实施方式，在将多个检测点群数据Db合并时，参照模型点群数据Da。以模型点群数据Da为基准将多个检测点群数据Db各自进行合并。在没有模型点群数据Da的情况下，为了进行多个检测点群数据Db的合并，需要在多个检测点群数据Db各自中相互地重复的共通部分。因此，需要取得许多检测点群数据Db。为了取得许多检测点群数据Db，必须在相互地不同的许多视点对部件100进行拍摄。即，必须增加拍摄装置7B的拍摄次数。其结果，部件100的3维形状的测量处理需要耗费时间。如果为了缩短测量处理所需的时间而减少检测点群数据Db的数量，则相互地重复的共通部分会变少，因此难以将多个检测点群数据Db进行合并。
在实施方式中，以模型点群数据Da为基准对多个检测点群数据Db各自进行合并。因此，即使检测点群数据Db的数量少，也能够将检测点群数据Db合并而生成合并点群数据Dc。因此，部件100的3维形状的测量处理得到高速化。
3维测量装置7具有对表示部件100的模型的模型数据进行存储的模型数据存储部11。模型点群数据生成部12基于模型数据而生成模型点群数据Da。模型数据被预先设定，因此模型点群数据生成部12能够适当地生成模型点群数据Da。
部件100具有本体部101和从本体部101凸出的多个凸出部即引线部110。合并点群数据Dc包含引线部110的弯曲量及引线部110的前端部的坐标。由此，控制装置9能够基于合并点群数据Dc，将部件100的引线部110插入至基板200的孔210。
[其他实施方式]
在上述的实施方式中，3维传感器设为是对被投影装置7A投影出条纹图案光的部件100进行拍摄的拍摄装置7B。3维传感器只要能够对部件100的3维形状进行检测即可。3维传感器例如可以是激光扫描器，也可以是立体照相机。
在上述的实施方式中，部件100的凸出部设为金属制的引线部110。凸出部也可以是合成树脂制。例如，作为凸出部，可以是合成树脂制的凸台部从本体部101凸出，凸台部插入至基板200的孔210。
标号的说明
1…部件安装装置，2…基台，3…部件供给构件，4…基板支撑构件，5…机器人手，5A…连结构件，5B…旋转构件，5C…移动构件，5D…夹紧部，6…机器人机械手，6A…基座构件，6B…回转构件，6C…第1臂，6D…第2臂，6E…第3臂，7…3维测量装置，7A…投影装置，7B…拍摄装置，7C…运算装置，7D…壳体，7E…透明构件，8…力觉传感器，9…控制装置，11…模型数据存储部，12…模型点群数据生成部，13…检测点群数据生成部，14…偏移数据计算部，15…合并点群数据生成部，16…输出部，100…部件，101…本体部，110…引线部，111…第1引线部，112…第2引线部，200…基板，210…孔，211…第1孔，212…第2孔，1000…计算机系统，1001…处理器，1002…主存储器，1003…储存器，1004…接口，AX1…第1转动轴，AX2…第2转动轴，AX3…第3转动轴，Da…模型点群数据，Db…检测点群数据，Dc…合并点群数据，Df…偏移数据，RX…旋转轴，TX…回转轴。

Claims (5)

1.一种3维测量装置，其具有：
模型点群数据生成部，其生成模型点群数据，该模型点群数据表示要安装于基板的部件的模型的3维点群数据；
检测点群数据生成部，其基于由3维传感器分别从多个视点检测出的所述部件的多个检测数据，生成表示所述部件的3维点群数据的检测点群数据；
偏移数据计算部，其关于多个所述检测点群数据分别对用于使所述检测点群数据与所述模型点群数据对位的偏移数据进行计算；以及
合并点群数据生成部，其将基于所述偏移数据而偏移后的多个所述检测点群数据合并，生成所述部件的合并点群数据。
2.根据权利要求1所述的3维测量装置，其中，
具有模型数据存储部，该模型数据存储部对表示所述部件的模型的模型数据进行存储，
所述模型点群数据生成部基于所述模型数据而生成所述模型点群数据。
3.根据权利要求1所述的3维测量装置，其中，
所述部件具有本体部和从所述本体部凸出的多个凸出部，
所述合并点群数据包含所述凸出部的弯曲量及所述凸出部的前端部的坐标。
4.一种部件安装装置，其具有：
机器人机械手，其在保持有要安装于基板的部件的状态下进行驱动；
权利要求1所记载的3维测量装置，其对所述部件的3维形状进行测量；以及
控制装置，其基于所述3维测量装置的测量处理结果，对所述机器人机械手进行控制，以使得将所述部件安装于基板。
5.一种3维测量方法，其包含下述步骤：
生成模型点群数据，该模型点群数据表示要安装于基板的部件的模型的3维点群数据；
基于由3维传感器分别从多个视点检测出的所述部件的多个检测数据，生成表示所述部件的3维点群数据的检测点群数据；
关于多个所述检测点群数据分别对用于使所述检测点群数据与所述模型点群数据对位的偏移数据进行计算；以及
将基于所述偏移数据而偏移后的多个所述检测点群数据合并，生成所述部件的合并点群数据。
CN202310756204.7A 2022-06-27 2023-06-26 3维测量装置、部件安装装置及3维测量方法 Pending CN117308824A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-102496 2022-06-27
JP2022102496A JP2024003389A (ja) 2022-06-27 2022-06-27 ３次元計測装置、部品実装装置、及び３次元計測方法

Publications (1)

Publication Number Publication Date
CN117308824A true CN117308824A (zh) 2023-12-29

Family

ID=89287284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310756204.7A Pending CN117308824A (zh) 2022-06-27 2023-06-26 3维测量装置、部件安装装置及3维测量方法

Country Status (3)

Country Link
JP (1) JP2024003389A (zh)
KR (1) KR20240001690A (zh)
CN (1) CN117308824A (zh)

Also Published As

Publication number Publication date
JP2024003389A (ja) 2024-01-15
KR20240001690A (ko) 2024-01-03

Similar Documents

Publication Publication Date Title
US8662676B1 (en) Automatic projector calibration
CN108965690B (zh) 图像处理系统、图像处理装置及计算机可读存储介质
US7239399B2 (en) Pick and place machine with component placement inspection
KR101615946B1 (ko) 3차원 형상 측정장치
US20140063204A1 (en) Optical measurement method and measurement system for determining 3d coordinates on a measurement object surface
US20010055069A1 (en) One camera system for component to substrate registration
KR20080038013A (ko) 반도체 칩의 실장장치 및 실장방법
TWI290613B (en) Position detecting method and position detecting device and position detecting system
US11312029B2 (en) Three-dimensional measuring apparatus, robot, and robot system
US20230179732A1 (en) Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium
JP2018194542A (ja) 画像処理システム、画像処理装置および画像処理プログラム
CN107030689B (zh) 部件定位在板上期望定向和位置的方法，取放机和传感器
CN117308824A (zh) 3维测量装置、部件安装装置及3维测量方法
JP3941631B2 (ja) 三次元撮像装置および方法
CN110174077B (zh) 3维测量装置、电子部件安装装置及3维测量方法
TWI661240B (zh) 透鏡元件搬送機構、控制器、光軸調整裝置、光學模組製造設備及其製造方法
US20230381877A1 (en) Soldering apparatus and soldering system, and processing apparatus
JP4141874B2 (ja) 焦点距離及び／又は画角算出方法ならびに焦点距離算出用光投射装置
CN115939904A (zh) 部件安装装置以及部件安装方法
JP7071207B2 (ja) 位置検出装置、位置検出方法、製造システム、製造方法、制御プログラム、および記録媒体
CN111971523B (zh) 视觉传感器系统、控制方法及存储介质
WO2005080915A1 (ja) ３次元形状検出装置および撮像装置
CN115412719B (zh) 相机镜头与光源的对位方法
CN109257922B (zh) 电子部件安装装置及电子部件安装方法
JPH0843044A (ja) ３次元座標測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication