CN107869984B - 位置姿势推定方法和位置姿势推定系统 - Google Patents

位置姿势推定方法和位置姿势推定系统 Download PDF

Info

Publication number
CN107869984B
CN107869984B CN201710878675.XA CN201710878675A CN107869984B CN 107869984 B CN107869984 B CN 107869984B CN 201710878675 A CN201710878675 A CN 201710878675A CN 107869984 B CN107869984 B CN 107869984B
Authority
CN
China
Prior art keywords
index
real space
orientation
estimation
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710878675.XA
Other languages
English (en)
Other versions
CN107869984A (zh
Inventor
泽田信治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN107869984A publication Critical patent/CN107869984A/zh
Application granted granted Critical
Publication of CN107869984B publication Critical patent/CN107869984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供位置姿势推定方法和位置姿势推定系统。即使在对象物的一部分被其他物体遮挡时，也能够简易且高精度地推定该对象物在三维坐标系中的位置和姿势。可以根据通过具有与实空间的Z轴平行的光轴的拍摄装置而获取的工件W的各指标区域的尺寸，推定各指标点的Z坐标值。基于各指标点的Z坐标值，推定穿过构成一对指标点的指标直线的第1实空间姿势。通过使用照射装置对多个指标点中的第1指标点照射光线，形成并定义包括该第1指标点在内的第1指标区域。在拍摄装置的拍摄范围中，即使在工件W的一部分被其他物体遮挡时，通过以避开该其他物体的方式或者利用间隙的方式对该工件W的第1指标点照射光线，能够简单且切实地形成第1指标区域。

Description

位置姿势推定方法和位置姿势推定系统
技术领域
本发明涉及测定工件等对象物在三维空间中的位置以及姿势的方法和系统。
背景技术
已被提出有在照相机中组合测距传感器从而测定物体的位置的方法。比如被提出有以下的方法：在相对于照相机的光轴是垂直的基准面上，对利用该照相机得到的物体上的已知3点的各自的位置的检测结果，基于利用测距传感器得到的该3点的各自的测距结果进行视差补正，从而测定该3点的三维位置，进而测定该物体的三维位置(参照专利文献1)。还被提出有下述方法：基于平面上的3个标记各自利用照相机得到的X-Y位置的测定结果以及利用测距传感器得到的Z位置的测定结果，推定该平面的位置以及姿势(参照专利文献2)。
然而，由于采用测距传感器而导致测定系统的成本变高，为了避免这一点，还被提出了不使用测距传感器而使用拍摄装置来测定物体的三维位置的方法。另外，还被提出有下述方法：通过照相机拍摄存在几何学关系已知的4个以上的多个标记的平面，基于该多个标记在该平面中的位置以及在二维图像坐标系中的位置，推定该多个标记的三维位置(参照专利文献3)。此外，被提出有下述方法：在通过照相机拍摄的二维图像中提取出对象物体的3个特征点，基于该提取结果、和预先测定的该3个特征点之间的距离，测定该对象物体的三维位置(参照专利文献4)。还被提出有下述方法：基于通过照相机拍摄以格子状进行二维排列的多个标记而得到的多个标记的二维位置，按照规定的关系式推定该多个标记的三维位置(参照专利文献5)。还被提出有下述方法：通过照相机拍摄带有预先测量了相互间距离的4个记号的对象物从而得到图像，除了基于所得到的图像中的二维位置之外，还基于该相互间距离，推定该4个记号的三维位置(参照专利文献6)。
现有技术文献
专利文献
专利文献1：日本特开平3-92712号公报
专利文献2：日本特开平9-304013号公报
专利文献3：日本特开昭62-175603号公报
专利文献4：日本专利第2534517号公报
专利文献5：日本特开平6-259536号公报
专利文献6：日本专利第4602704号公报
发明内容
发明要解决的课题
然而，为了确认部件彼此的组装状态，使用拍摄装置来拍摄一个部件时，有时在该部件上附带的标记至少一部分被其他部件或部件组遮挡，该确认作业变得困难。
因此，本发明的目的在于，提供即使在对象物的一部分被其他物体遮挡的情况下，也能够简易且高精度地推定该对象物在三维坐标系中的位置以及姿势的技术。
用于解决问题的手段
本发明的位置姿势推定方法的特征在于，其包括：第1尺寸测定处理，通过拍摄装置获取对象物的拍摄图像，测定对象物中定义的多个指标区域各自在所述拍摄图像中的尺寸，所述拍摄装置在由XYZ坐标系定义的实空间中的位置以及姿势被固定、且具有相对于Z轴平行的光轴；纵实空间位置推定处理，基于所述第1尺寸测定处理中的测定结果，推定所述多个指标区域各自所包含的多个指标点各自的Z坐标值；第1实空间姿势推定处理，基于所述多个指标点各自的X坐标值和Y坐标值中的至少一者、以及所述多个指标点各自的Z坐标值的推定结果，将穿过所述多个指标点当中构成一对的指标点的指标直线在实空间中的姿势推定为第1实空间姿势；和，实空间姿势推定处理，基于所述第1实空间姿势的推定结果，推定所述对象物的实空间姿势；所述第1尺寸测定处理中，使用在所述实空间中的位置以及姿势被固定的照射装置，对所述多个指标点当中的第1指标点照射光线，由此形成第1指标区域作为所述多个指标区域当中的至少1个指标区域。
根据本发明的位置姿势推定方法，可以根据通过具有与实空间的Z轴平行的光轴的拍摄装置而获取的对象物的各指标区域的尺寸，推定各指标点的Z坐标值。其依据的定性关系在于，指标点越靠近拍摄装置(或其拍摄元件)则其测定尺寸越大，指标点越远离拍摄装置则其测定尺寸越小。基于各指标点的Z坐标值，推定穿过构成一对的指标点的指标直线的第1实空间姿势(根据方向矢量来确定)。通过使用照射装置对多个指标点当中的第1指标点照射光线，形成并定义包括该第1指标点在内的第1指标区域。
在拍摄装置的拍摄范围中，即使在对象物的一部分被其他物体遮挡的情况下，通过以避开该其他物体的方式或者利用间隙的方式对该对象物的第1指标点进行照射光线来形成第1指标区域。可以简单地使拍摄图像中包括多个指标区域，所述多个指标区域的各个指标区域包括存在于同一指标直线上的多个指标点中的某个指标点。因此，即使在这样的情况下，也能够简易且高精度地推定对象物的由至少Z坐标值定义的实空间位置以及由至少指标直线的第1实空间姿势定义的对象物的实空间姿势。
本发明的位置姿势推定方法中，优选的是，还包括：
第2尺寸测定处理，针对所述拍摄图像中的所述指标直线的延伸方向，测定所述多个指标区域当中的至少1个指标区域的尺寸；
第2实空间姿势推定处理，基于所述第2尺寸测定处理中的测定结果，将所述至少1个指标区域的实空间姿势推定为第2实空间姿势；
所述实空间姿势推定处理中，通过综合所述第1实空间姿势的推定结果以及所述第2实空间姿势的推定结果，推定所述对象物的实空间姿势。
根据该位置姿势推定方法，可以根据拍摄图像中的至少1个指标区域的针对指标直线的延伸方向的尺寸，推定该指标区域的第2实空间姿势(根据指标区域的垂线矢量来确定)。通过整合第1实空间姿势的推定结果以及第2实空间姿势的推定结果，可以实现对象物的实空间姿势的推定精度的提高。
本发明的位置姿势推定方法中，优选的是，所述实空间姿势推定处理中，通过综合穿过构成各不同对的指标点、且为同一指标直线或彼此平行的多个所述指标直线的各自的所述第1实空间姿势的推定结果，推定所述对象物的实空间姿势。
根据该位置姿势推定方法，可以实现穿过构成不同对的指标点的多个指标直线的各自的实空间姿势、进而是对象物的实空间姿势的推定精度的提高。
本发明的位置姿势推定方法中，优选的是，设定所述多个指标点，从而定义所述实空间中正交的2个所述指定方向。
根据该位置姿势推定方法，可以推定实空间中正交的2个指标直线的各自的由第1实空间姿势(或者第1实空间姿势的多个推定结果的整合结果，或者第1实空间姿势以及第2实空间姿势的整合结果)定义的对象物的实空间姿势。
本发明的位置姿势推定方法中，优选的是，还包括：
横实空间位置推定处理，基于所述多个指标点当中在对象物坐标系中被固定的第2指标点在所述拍摄图像中的位置，推定所述第2指标点的X坐标值和Y坐标值。
根据该位置姿势推定方法，可以根据在对象物坐标系中被固定的第2指标点在拍摄图像中的位置，推定该指标点的X坐标值和Y坐标值。由此，可以高精度地推定由除第2指标点的Z坐标值的推定结果之外、还由X坐标值和Y坐标值的推定结果定义的对象物的实空间位置。
本发明的位置姿势推定方法中，优选的是，由所述对象物中通过所述拍摄装置能够识别的轮廓界定的第2指标区域中包含的点定义为所述第2指标点。
根据该位置姿势推定方法，通过实现拍摄图像中的第2指标点的位置的测定精度的提高，可以实现对象物的实空间位置以及实空间姿势的推定精度的提高。
本发明的位置姿势推定方法中，优选的是，还包括：
第1准备处理，在改变所述多个指标点当中的至少1个指标点的Z坐标值的同时，测定所述对象物的拍摄图像中的所述至少1个指标区域的尺寸的变化，由此将所述至少1个指标点的Z坐标值与所述拍摄图像中的所述至少1个指标区域的尺寸的相关关系定义为第1相关关系，
所述纵实空间位置推定处理中，按照所述第1相关关系，推定所述多个指标点的各自的Z坐标值。
根据该位置姿势推定方法，由于按照事先定义的第1相关关系来推定各指标点的Z坐标值，因此可以实现对象物的实空间位置以及实空间姿势的推定精度的提高。
本发明的位置姿势推定方法中，优选的是，还包括：
第2准备处理，在改变所述至少1个指标区域的实空间姿势的同时，测定所述拍摄图像中所述至少1个指标区域的针对所述指标直线的延伸方向的尺寸的变化，由此将所述至少1个指标区域的实空间姿势与所述拍摄图像中针对所述指标直线的延伸方向的尺寸的相关关系定义为第2相关关系，
所述第2实空间姿势推定处理中，按照所述第2相关关系，推定所述第2实空间姿势。
根据该位置姿势推定方法，由于按照事先定义的第2相关关系来推定第2实空间姿势，因此能够事先对象物的实空间位置以及实空间姿势的推定精度的提高。
附图说明
图1是与作为本发明的第1实施方式的位置姿势推定方法相关的说明图。
图2A是与基准状态下的对象物的拍摄图像、光线的照射以及拍摄方式(第1实施方式)相关的说明图。
图2B是与任意状态下的对象物的拍摄图像、光线的照射以及拍摄方式(第1实施方式)相关的说明图。
图3A是与第1相关关系相关的说明图。
图3B是与第1相关关系相关的说明图。
图3C是与第1相关关系相关的说明图。
图4A是与第2相关关系相关的说明图。
图4B是与第2相关关系相关的说明图。
图4C是与第2相关关系相关的说明图。
图5A是与基准状态下的对象物的拍摄图像、光线的照射以及拍摄方式(第2实施方式)相关的说明图。
图5B是与任意状态下的对象物的拍摄图像、光线的照射以及拍摄方式(第2实施方式)相关的说明图。
具体实施方式
(第1实施方式)
作为本发明的第1实施方式的位置姿势推定方法中，将实空间坐标系(X,Y,Z)中的对象物坐标系(x,y,z)的位置以及姿势推定为工件W(对象物)的实空间位置以及实空间姿势(参照图2A下侧、图2B下侧、图5A下侧以及图5B下侧)。进行该推定时，使用照射装置2以及拍摄装置4来推定工件W在实空间中的位置以及姿势。照射装置2以其光线20(激光束)的光轴平行于Z轴的方式通过基台1对照射装置2在实空间中的位置以及姿势进行保持。拍摄装置4以其光轴平行于Z轴的方式通过基台1对拍摄装置4在实空间中的位置以及姿势进行保持。
工件W例如是要被装配到其他工件上的部件。其中，该其他工件以实空间中的位置以及姿势维持为恒定的方式被配置的工件。在将工件W分别装配于该各个其他工件上时，为了评价其各个实空间位置以及姿势相对于各个目标位置以及目标姿势的偏差而执行本发明的位置姿势推定方法。
通过将照射装置2的实空间位置以及实空间姿势维持为恒定，预先确定了多个指标点Pi(i＝0,1,2,‥N)当中的第1指标点的X坐标值Xi和Y坐标值Yi。第2指标点在对象物坐标系中的位置被固定。第1实施方式中，穿过构成一对的指标点Pi和Pj的多个指标直线彼此为非平行。例如，如图2A上侧以及图2B上侧所示那样，穿过指标点P0和P1的第1指标直线(此处与x轴相一致)以及穿过指标点P0和P2的第2指标直线(此处与y轴相一致)在指标点P0处正交。
本发明的位置姿势推定方法通过下述方式执行：通过构成计算机的处理器(单核处理器或多核处理器等)，从该处理器的内部或外部的存储器中读取必要的数据以及软件，按照该软件对该数据进行演算处理。例如，作为执行图1所示的各步骤的处理的功能要素的各处理要素由处理器构成。
“第1尺寸测定处理要素”可以具有除了控制用于调节由XYZ坐标系定义的实空间中的拍摄装置4的位置以及姿势的驱动机构(由电机以及传动机构等构成)的动作之外，还控制拍摄装置4的动作的功能。“第1尺寸测定处理要素”具有除了控制用于调节照射装置2(或基台1)的位置以及姿势的驱动机构的动作之外，还控制照射装置2的动作的功能。
为了改变多个指标点当中的至少1个指标点P的Z坐标值，“第1准备处理要素”还可以具有控制用于调节拍摄装置4以及工件W(对象物)的相对位置或者位置以及姿势的驱动机构的动作的功能。
为了改变至少1个指标区域的实空间姿势，“第2准备处理要素”还可以具有控制用于调节拍摄装置4以及工件W(对象物)的相对姿势或者位置以及姿势的驱动机构的动作的功能。
使用照射装置2对工件W的多个指标点Pi当中的第1指标点Pi1照射光线20(图1/步骤02)。由此，同时或者在不同时刻对例如图2A上侧以及图2B上侧所示的第1指标点P1以及P2(i1＝1,2)分别照射光线。其结果是，在工件W的表面上形成近似圆形的照射区域并将其定义为第1指标区域A1和A2。光线20的照射区域的形状除近似圆形形状之外，还可以为近似椭圆形等其他形状，也可以为近似圆环状等环状。照射区域的形状为环状时，可以将以该环作为轮廓的区域定义为第1指标区域Ai1。
将通过拍摄装置4获取的拍摄图像中源自可识别的工件W的外观或结构的区域定义为第2指标区域Ai2，将第2指标区域Ai2的中心点或其边界线上的点等包含在其中的点定义为第2指标点Pi2。第2指标点Pi2从其性质来讲，其位置在对象物坐标系中被固定。在图2A以及图2B所示的例子中，将通过工件W中形成的开口部的周缘定义的第2指标区域A0(i2＝0)中心点定义为第2指标点P0。在第1实施方式中，以穿过构成一对的第1指标点Pi1和第2指标点Pi2的方式定义指标直线Qi1i2。需要说明的是，多个指标点Pi中可以包括多个第2指标点Pi2。也可以将多个指标点Pi全部定义为第1指标点Pi1，对所有指标点Pi照射光线20。
接着，通过拍摄装置4获取工件W的拍摄图像(图1/步骤04)。由此，以例如如图2A上侧以及图2B上侧各自所示那样的方式，获取包括指标区域A0～A2在内的工件W的拍摄图像。
基于拍摄图像执行“第1尺寸测定处理”，测定图像坐标系中的指标区域Ai的尺寸φi(或者直径)(图1/步骤10)。需要说明的是，作为第1尺寸测定处理，与后述第2尺寸测定处理(参照图1/步骤20)同样地，可以针对拍摄图像中的指标直线的延伸方向，测定指标区域Ai的尺寸φi。
进一步，执行“纵实空间位置推定处理”，基于图像坐标系(u,v)中的指标区域Ai的尺寸φi的测定结果，推定指标点Pi的Z坐标值Zi(Z坐标值)(图1/步骤12)。例如，如图3A～图3C中概念性地示出的那样，如拍摄装置4(或其拍摄元件)与指标点Pi的间隔Di越小则拍摄图像中的指标区域Ai的尺寸φi越大(拍摄装置4与指标点Pi的间隔D越大则拍摄图像中的指标区域Ai的尺寸φi越小)那样，在该间隔Di与该尺寸φi之间存在相关关系(第1相关关系)。因此，基于图像坐标系(u,v)中的指标区域Ai的尺寸φi，按照该第1相关关系，能够推定相当于间隔Di的指标点Pi的Z坐标值Zi。
基于拍摄图像执行“横实空间位置推定处理”，基于图像坐标系(u,v)中的第2指标点Pi2的位置(ui2,vi2)，测定实空间中的该第2指标点Pi2的X坐标值Xi2和Y坐标值Yi2(图1/步骤14)。由此，基于例如第2指标点P0(i2＝0)在图像坐标系中的位置(u0,v0)，测定X坐标值X0和Y坐标值Y0(参照图2A上侧以及图2B上侧)。
基于与第2指标点Pi2相关的纵实空间位置推定处理的结果(参照图1/步骤12)以及横实空间位置推定处理的结果(参照图1/步骤14)，执行“实空间位置推定处理”，由此将该第2指标点Pi2的实空间位置(Xi2,Yi2,Zi2)推定为工件W的实空间位置(参照图1/步骤16)。由此，推定例如作为工件W的代表点的第2指标点P0(i2＝0)的实空间位置(X0,Y0,Z0)(参照图2A以及图2B)。
基于纵实空间位置推定处理的结果(参照图1/步骤10)，执行“第1实空间姿势推定处理”(图1/步骤18)。具体，基于各指标点Pi的X坐标值Xi和Y坐标值Yi(针对第1指标点为已知值，针对第2指标点为推定值)以及Z坐标值Zi的推定结果，将穿过多个指标点Pi当中构成一对的指标点Pi和Pj的指标直线Qij的实空间姿势推定为第1实空间姿势。例如，基于指标直线Qij的方向矢量(ai1,bi1,ci1)，将指标直线Qij相对于实空间的X轴的角度θ1X(i,j)＝arctan(ci1/ai1)以及指标直线Qij相对于实空间的Y轴的角度θ1Y(i,j)＝arctan(ci1/bi1)分别推定为第1实空间姿势θ1(i,j)。
可以基于任意状态下的指标点Pi的Z坐标值Zi(k)相对于基准状态下的指标点Pi的Z坐标值Zi(0)的偏差ΔZj(k)，按照关系式(01)来推定第1实空间姿势θ1(i,j)。其中，在所述基准状态下，对象物坐标系的xy平面相对于实空间的XY平面的姿势为基准姿势(例如平行)，在所述任意状态下，对象物坐标系的xy平面相对于实空间的XY平面的姿势为未知。在将对象物坐标系的xy平面相对于实空间的XY平面的姿势调节为基准姿势后，可以预先测定指标点Pi的Z坐标值Zi(0)。
θ1(i,j)＝arctan{(ΔZj(k)-ΔZi(k))/Lij}‥(01)。
例如，在图2A下侧所示的状态下，x轴相对于X轴为平行，且y轴相对于Y轴为平行。在该状态下，对象物坐标系的xy平面相对于实空间的XY平面为平行，相对于XY平面的第1指标直线(x轴线)的第1实空间姿势θ1(0,1)以及第2指标直线(y轴线)的第1实空间姿势θ1(0,2)均被推定为0。
与此相对，在图2B下侧所示的状态下，对象物坐标系的xy平面相对于实空间的XY平面倾斜。在该状态下，基于指标点Pi的Z坐标值Zi(k)(纵实空间位置推定处理的结果)，按照关系式(01)，推定第1指标直线的第1实空间姿势θ1(0,1)以及第2指标直线的第1实空间姿势θ1(0,2)。
基于拍摄图像执行“第2尺寸测定处理”，针对图像坐标系中的指标直线的延伸方向，测定多个指标区域Ai当中的至少1个指标区域的尺寸(图1/步骤20)。由此，针对例如第1指标直线Q01(相当于对象物坐标系的x轴)以及第2指标直线Q02(相当于对象物坐标系的y轴)的延伸方向，分别测定拍摄图像中的第2指标区域A2的尺寸φ01和φ02(参照图2A上侧以及图2B上侧)。
接着，基于第2尺寸测定处理中的测定结果执行“第2实空间姿势推定处理”，将至少1个指标区域Ai的实空间姿势推定为第2实空间姿势(图1/步骤22)。基于指标区域Ai的垂线矢量(ai2,bi2,ci2)，将各个指标直线Qij相对于实空间的X轴的角度θ2X(i,j)＝arctan(ci2/ai2)、以及指标直线Qij相对于实空间的Y轴的角度θ2Y(i,j)＝arctan(ci2/bi2)推定为第2实空间姿势θ2(i,j)。
例如，如图4A～图4C上侧所示那样，指标直线Q01(在该例子中相当于对象物坐标系的x轴)相对于实空间的XY平面的倾斜角度ξ越大，则如图4A～图4C下侧所示那样，图像坐标系中的指标区域Ai针对该指标直线的延伸方向(在该例子中为x方向)的尺寸φ01(ξ)越小。在该倾斜角度ξ与该尺寸φij(ξ)之间存在如上所述的相关关系(第2相关关系)。因此，基于图像坐标系(u,v)中的指标区域Ai针对指标直线Qij的延伸方向的尺寸φij，按照该第2相关关系，能够推定第2实空间姿势θ2(i,j)。
基于任意状态下的指标区域Ai的尺寸φij(ξ(k))相对于基准状态下的指标区域Ai的尺寸φij(ξ(0))的偏差Δφij(k)，按照关系式(02)来推定第2实空间姿势θ2(i,j)。其中，在所述基准状态下，对象物坐标系的xy平面相对于实空间的XY平面的姿势为基准姿势(例如平行)，所述任意状态下，对象物坐标系的xy平面相对于实空间的XY平面的姿势未知。可以在将对象物坐标系的xy平面相对于实空间的XY平面的姿势调节为基准姿势后，预先测定指标区域Ai的尺寸φij(ξ(0))。
θ2(i,j)＝arccos{Δφij(k)/φij(k)}‥(02)。
基于第1实空间姿势推定处理的结果(参照图1/步骤10)以及第2实空间姿势推定处理的结果(参照图1/步骤22)，执行“实空间姿势推定处理”(图1/步骤24)。具体，基于以所述方式推定的第1实空间姿势θ1(i,j)以及第2实空间姿势θ2(i,j)，按照关系式(04)来推定工件W的实空间姿势θ(i,j)。
θ(i,j)＝αθ1(i,j)+(1-α)θ2(i,j)(0＜α＜1)‥(04)。
加权系数α例如设定为“0.5”，可以根据第1实空间姿势θ1(i,j)以及第2实空间姿势θ2(i,j)各自的推定精度的高低差而适当变更该加权系数。例如，源自拍摄图像中的光线的第1指标区域的识别精度高于源自工件W的结构或外观的第2指标区域的识别精度时，可以将α设定为大于0.5的值。
(第2实施方式)
在作为本发明的第2实施方式的位置姿势推定方法中，与第1实施方式不同之处在于，省略第2尺寸测定处理(参照图1/步骤20)以及第2实空间姿势推定处理(参照图1/步骤22)。
第2实施方式中，多个指标直线Qij和Qi’j’彼此平行地配置，或者为同一直线。例如，如图5A上侧以及图5B上侧所示那样，穿过指标点P0和P1的第1指标直线Q01(i＝0,j＝1)以及穿过指标点P0和P3的第3指标直线Q03(i’＝0,j’＝1)为同一直线(相当于对象物坐标系的x轴)。同样地，穿过指标点P0和P2的第2指标直线Q02(i＝0,j＝2)以及穿过指标点P0和P4的第4指标直线Q04(i’＝0,j’＝4)为同一直线(相当于对象物坐标系的y轴)。分别对被定义为第1指标点的4个指标点P1～P4的照射光线从而形成并定义第1指标区域A1～A4(参照图1/步骤02)。
经过第1尺寸测定处理、纵实空间位置推定处理以及第1实空间姿势推定处理(参照图1/步骤10→步骤12→步骤18)，将彼此平行的(或者属于同一直线的)多个指标直线Qi1j1～QiMjM(M＝2,3,‥)分别相对于XY平面的角度推定为第1实空间姿势θ1(i1,j1)～θ1(iM,jM)。并且，基于多个第1实空间姿势θ1(i1,j1)～θ1(iM,jM)，按照关系式(06)来执行“实空间姿势推定处理”(参照图1/步骤24)。
θ＝Σm＝1-Mβmθ1(im,jm))(0＜βm＜1、Σβm＝1)‥(06)。
例如，在图5A下侧所示的基准状态下，推定第1～第4指标直线相对于XY平面的第1实空间姿势θ1(0,1)～θ1(0,4)分别为0(参照图2A下侧)。与此相对的是，在如图5B下侧所示的任意状态下，推定对象物坐标系的x轴线相对于实空间的XY平面的角度θx为(θ1(0,1)+θ1(0,3))/2(β01＝1/2、β03＝1/2)，推定对象物坐标系的y轴线相对于实空间的XY平面的角度θy为(θ1(0,2)+θ1(0,4))/2(β02＝1/2、β04＝1/2)。
(本发明的作用效果)
根据本发明的位置姿势推定方法，可以根据通过具有与实空间的Z轴平行的光轴的拍摄装置4而获取的工件W的各指标区域Ai的尺寸φi，推定各指标点Pi的Z坐标值(参照图1/步骤04→步骤10→步骤12、图2A、图2B)。其依据的定性关系在于，指标点Pi越靠近拍摄装置4(或其拍摄元件)则其测定尺寸越大，指标点Pi越远离拍摄装置4则其测定尺寸越小(参照图3A～图3C)。基于各指标点Pi的Z坐标值Zi，推定穿过构成一对的指标点Pi和Pj的指标直线Qij的第1实空间姿势θ1(i,j)(根据方向矢量来确定)(参照图1/步骤18→步骤24、关系式(04))。通过使用照射装置2对多个指标点Pi当中的第1指标点Pi1照射光线20，形成并定义包括该第1指标点Pi1在内的第1指标区域Ai1(参照图1/步骤02、图2A上侧、图2B上侧、图5A上侧以及图5B上侧)。
在拍摄装置4的拍摄范围中，即使在工件W的一部分被其他物体遮挡的情况下，通过以避开该其他物体的方式或者利用间隙的方式对该工件W的第1指标点Pi1照射光线20，从而形成第1指标区域Ai1。可以简单地使拍摄图像中包括多个指标区域Ai，所述指标区域分别包括存在于同一指标直线上的多个指标点Pi中的某个指标点。因此，即使在这样的情况下，也能够简易且高精度地推定工件W的至少由Z坐标值Zi定义的实空间位置和至少由指标直线Qij的第1实空间姿势θ1(i,j)定义的工件W的实空间姿势。
根据第1实施方式，可以根据拍摄图像中的至少1个指标区域Ai的针对指标直线Qij的延伸方向的的尺寸φij，推定该指标区域Ai的第2实空间姿势θ2(i,j)(根据指标区域Ai的垂线矢量来确定)(参照图1/步骤20→步骤22、关系式(02))。通过整合第1实空间姿势θ1(i,j)的推定结果以及第2实空间姿势θ2(i,j)的推定结果，可以实现工件W的实空间姿势θ(i,j)的推定精度的提高(参照图1/步骤24、关系式(04))。
根据第2实施方式，在实空间姿势推定处理(参照图1/步骤24)中，通过综合穿过形成各个不同对的指标点、且为同一直线或彼此平行的多个指标直线Qi1j1～QiMjM的各自的第1实空间姿势θ1(im,jm)的推定结果，推定工件W的实空间姿势θ(i,j)(参照关系式(06))。由此，与仅基于单一的指标直线的第1实空间姿势θ1(im,jm)推定工件W的实空间姿势θ(i,j)相比，可以实现该推定精度的提高。
(其他实施方式)
所述实施方式中，也可以省略横实空间位置推定处理(参照图1/步骤14)。此时，将至少1个指标点Pi的Z坐标值Zi的推定结果或其整合结果视为工件W的实空间位置的推定结果。
可以以与第2实施方式相同的方式定义多个指标点Pi，并将穿过构成第1对的第2指标点P1和P3的指标直线Q13(相当于对象物坐标系的x轴)以及穿过构成第2对的第2指标点P2和P4的指标直线Q24(相当于对象物坐标系的y轴)的各自相对于X轴和Y轴的角度推定为第1实空间姿势θ1(1,3)和θ1(2,4)，然后按照与本发明的第1实施方式相同的流程，推定工件W的姿势。
可以在所述实施方式中预先执行“第1准备处理”。具体，在改变多个指标点Pi当中的至少1个指标点Pk的Z坐标值Zk的同时，测定工件W的拍摄图像中的至少1个指标区域Ak的尺寸φk的变化，由此将该Z坐标值Zk与该尺寸φk的相关关系定义为第1相关关系。由此，在纵实空间位置推定处理(图1/步骤12)中，按照第1相关关系来推定各指标点Pi的Z坐标值Zi。
可以在所述实施方式中预先执行“第2准备处理”。具体，在改变至少1个指标区域Ai的实空间姿势θ(i,j)的同时，测量拍摄图像中的该指标区域Ai的针对指标直线Qij的延伸方向的尺寸φij的变化，由此将该实空间姿势θ(i,j)与拍摄图像中针对指标直线Qij的延伸方向的尺寸φij的相关关系定义为第2相关关系。由此，在第2实空间姿势推定处理(参照图1/步骤22)中，按照第2相关关系来推定第2实空间姿势θ2(i,j)。

Claims (12)

1.一种位置姿势推定方法,其特征在于，包括：
第1尺寸测定处理，通过拍摄装置获取对象物的拍摄图像，测定对象物中定义的多个指标区域各自在所述拍摄图像中的尺寸，所述拍摄装置在由XYZ坐标系定义的实空间中的位置以及姿势被固定、且具有相对于Z轴平行的光轴；
纵实空间位置推定处理，基于所述第1尺寸测定处理中的测定结果，推定所述多个指标区域各自所包含的多个指标点各自的Z坐标值；
第1实空间姿势推定处理，基于所述多个指标点各自的X坐标值和Y坐标值中的至少一者、以及所述多个指标点各自的Z坐标值的推定结果，将穿过所述多个指标点当中构成一对的指标点的指标直线在实空间中的姿势推定为第1实空间姿势；以及
实空间姿势推定处理，基于所述第1实空间姿势的推定结果，推定所述对象物的实空间姿势，
所述第1尺寸测定处理中，使用在所述实空间中的位置以及姿势被固定的照射装置，对所述多个指标点当中的第1指标点照射光线，由此形成第1指标区域作为所述多个指标区域当中的至少1个指标区域，
该位置姿势推定方法还包括：
第2尺寸测定处理，针对所述拍摄图像中的所述指标直线的延伸方向，测定所述多个指标区域当中的至少1个指标区域的尺寸；以及
第2实空间姿势推定处理，基于所述第2尺寸测定处理中的测定结果，将所述至少1个指标区域的实空间姿势推定为第2实空间姿势，
所述实空间姿势推定处理中，通过综合所述第1实空间姿势的推定结果以及所述第2实空间姿势的推定结果，推定所述对象物的实空间姿势。
2.根据权利要求1所述的位置姿势推定方法，其特征在于，
设定所述多个指标点，从而定义所述实空间中正交的2个指定方向。
3.根据权利要求1所述的位置姿势推定方法，其特征在于，还包括：
横实空间位置推定处理，基于所述多个指标点当中在对象物坐标系中被固定的第2指标点在所述拍摄图像中的位置，推定所述第2指标点的X坐标值和Y坐标值。
4.根据权利要求3所述的位置姿势推定方法，其特征在于，
由所述对象物中通过所述拍摄装置能够识别的轮廓界定的第2指标区域中包含的点定义为所述第2指标点。
5.根据权利要求1所述的位置姿势推定方法，其特征在于，还包括：
第1准备处理，在改变所述多个指标点当中的至少1个指标点的Z坐标值的同时，测定所述对象物的拍摄图像中的所述至少1个指标区域的尺寸的变化，由此将所述至少1个指标点的Z坐标值与所述拍摄图像中的所述至少1个指标区域的尺寸的相关关系定义为第1相关关系，
所述纵实空间位置推定处理中，按照所述第1相关关系，推定所述多个指标点的各自的Z坐标值。
6.根据权利要求1所述的位置姿势推定方法，其特征在于，还包括：
第2准备处理，在改变所述至少1个指标区域的实空间姿势的同时，测定所述拍摄图像中所述至少1个指标区域的针对所述指标直线的延伸方向的尺寸的变化，由此将所述至少1个指标区域的实空间姿势与所述拍摄图像中针对所述指标直线的延伸方向的尺寸的相关关系定义为第2相关关系，
所述第2实空间姿势推定处理中，按照所述第2相关关系，推定所述第2实空间姿势。
7.一种位置姿势推定系统,其特征在于，具备：
第1尺寸测定处理要素，其通过拍摄装置获取对象物的拍摄图像，测定对象物中定义的多个指标区域各自在所述拍摄图像中的尺寸，所述拍摄装置在由XYZ坐标系定义的实空间中的位置以及姿势被固定、且具有相对于Z轴平行的光轴；
纵实空间位置推定处理要素，其基于所述第1尺寸测定处理要素中的测定结果，推定所述多个指标区域各自所包含的多个指标点各自的Z坐标值；
第1实空间姿势推定处理要素，其基于所述多个指标点各自的X坐标值和Y坐标值中的至少一者、以及所述多个指标点各自的Z坐标值的推定结果，将穿过所述多个指标点当中构成一对的指标点的指标直线在实空间中的姿势推定为第1实空间姿势；以及
实空间姿势推定处理要素，其基于所述第1实空间姿势的推定结果，推定所述对象物的实空间姿势，
所述第1尺寸测定处理要素进行如下处理：使用在所述实空间中的位置以及姿势被固定的照射装置，对所述多个指标点当中的第1指标点照射光线，由此形成第1指标区域作为所述多个指标区域当中的至少1个指标区域，
该位置姿势推定系统还具备：
第2尺寸测定处理要素，其针对所述拍摄图像中的所述指标直线的延伸方向，测定所述多个指标区域当中的至少1个指标区域的尺寸；
第2实空间姿势推定处理要素，其基于所述第2尺寸测定处理要素的测定结果，将所述至少1个指标区域的实空间姿势推定为第2实空间姿势；
所述实空间姿势推定处理要素通过综合所述第1实空间姿势的推定结果以及所述第2实空间姿势的推定结果，推定所述对象物的实空间姿势。
8.根据权利要求7所述的位置姿势推定系统，其特征在于，
设定所述多个指标点，从而定义所述实空间中正交的2个指定方向。
9.根据权利要求7所述的位置姿势推定系统，其特征在于，还具备横实空间位置推定处理要素，该横实空间位置推定处理要素基于所述多个指标点当中在对象物坐标系中被固定的第2指标点在所述拍摄图像中的位置，推定所述第2指标点的X坐标值和Y坐标值。
10.根据权利要求9所述的位置姿势推定系统，其特征在于，
由所述对象物中通过所述拍摄装置能够识别的轮廓界定的第2指标区域中包含的点定义为所述第2指标点。
11.根据权利要求7所述的位置姿势推定系统，其特征在于，还具备第1准备处理要素，该第1准备处理要素在改变所述多个指标点当中的至少1个指标点的Z坐标值的同时，测定所述对象物的拍摄图像中的所述至少1个指标区域的尺寸的变化，由此将所述至少1个指标点的Z坐标值与所述拍摄图像中的所述至少1个指标区域的尺寸的相关关系定义为第1相关关系，
所述纵实空间位置推定处理要素按照所述第1相关关系，推定所述多个指标点的各自的Z坐标值。
12.根据权利要求7所述的位置姿势推定系统，其特征在于，还具备第2准备处理要素，该第2准备处理要素在改变所述至少1个指标区域的实空间姿势的同时，测定所述拍摄图像中所述至少1个指标区域的针对所述指标直线的延伸方向的尺寸的变化，由此将所述至少1个指标区域的实空间姿势与所述拍摄图像中针对所述指标直线的延伸方向的尺寸的相关关系定义为第2相关关系，
所述第2实空间姿势推定处理要素按照所述第2相关关系，推定所述第2实空间姿势。
CN201710878675.XA 2016-09-28 2017-09-26 位置姿势推定方法和位置姿势推定系统 Active CN107869984B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-190454 2016-09-28
JP2016190454A JP6446009B2 (ja) 2016-09-28 2016-09-28 位置姿勢推定方法

Publications (2)

Publication Number Publication Date
CN107869984A CN107869984A (zh) 2018-04-03
CN107869984B true CN107869984B (zh) 2020-08-11

Family

ID=61685578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710878675.XA Active CN107869984B (zh) 2016-09-28 2017-09-26 位置姿势推定方法和位置姿势推定系统

Country Status (3)

Country Link
US (1) US10573021B2 (zh)
JP (1) JP6446009B2 (zh)
CN (1) CN107869984B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315280B1 (en) 2019-09-26 2022-04-26 Apple Inc. Pose estimation with limited correspondences
CN113191226A (zh) * 2020-09-15 2021-07-30 方秋菊 基于大数据的学生学习习惯分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001227925A (ja) * 2000-02-15 2001-08-24 Nishimatsu Constr Co Ltd コンクリートの検査方法及び該方法に用いられる測定治具
CN1912534A (zh) * 2006-08-25 2007-02-14 哈尔滨工业大学 非接触式三轴气浮台转角测量装置及其测量方法
CN101116101A (zh) * 2005-02-04 2008-01-30 佳能株式会社 位置/姿势测量方法和设备
JP2013088169A (ja) * 2011-10-14 2013-05-13 Hitachi-Ge Nuclear Energy Ltd 検査装置及び方法
CN105698765A (zh) * 2016-02-22 2016-06-22 天津大学 双imu单目视觉组合测量非惯性系下目标物位姿方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS462704Y1 (zh) 1966-10-31 1971-01-29
JPS62175603A (ja) 1986-01-30 1987-08-01 Nec Corp 三次元位置認識装置
JPH0392712A (ja) 1989-09-05 1991-04-17 Fanuc Ltd 画像処理装置と測距センサによる物体の３次元位置認識方法
JP2534517Y2 (ja) 1990-10-13 1997-04-30 天龍工業株式会社 リクライニングシート
JPH06259536A (ja) 1991-11-27 1994-09-16 Yoshihiko Nomura 撮像位置、姿勢の三次元補正方法およびロボットの三次元位置補正方法
JPH09304013A (ja) 1996-05-13 1997-11-28 Ishikawajima Shibaura Mach Co Ltd 平面の３次元位置姿勢検出方法
US6197117B1 (en) * 1997-07-23 2001-03-06 Applied Materials, Inc. Wafer out-of-pocket detector and susceptor leveling tool
JPH1151651A (ja) * 1997-08-06 1999-02-26 Nippon Steel Corp 視準マーク面の傾き角度測定方法、三次元座標測定方法及び視準マーク
KR100556612B1 (ko) * 2002-06-29 2006-03-06 삼성전자주식회사 레이저를 이용한 위치 측정 장치 및 방법
JP4602704B2 (ja) 2004-06-29 2010-12-22 学校法人東京理科大学 単眼視３次元位置計測装置および方法
JP4644540B2 (ja) * 2005-06-28 2011-03-02 富士通株式会社 撮像装置
JP5650942B2 (ja) * 2010-07-08 2015-01-07 トピー工業株式会社 点検システムおよび点検方法
US20120027251A1 (en) * 2010-07-30 2012-02-02 Wei Wu Device with markings for configuration
JP6160062B2 (ja) * 2012-10-30 2017-07-12 富士通株式会社 移動体の姿勢検出方法及び移動体の姿勢検出装置並びに部品組立装置
JP5468689B1 (ja) * 2013-02-19 2014-04-09 エーテック株式会社 撮像装置、該撮像装置の目盛生成方法、プログラム、及び記録媒体
JP6405945B2 (ja) * 2014-09-26 2018-10-17 株式会社ジェイテクト ころ軸受の挙動測定装置および挙動測定方法
JP6256380B2 (ja) * 2015-02-26 2018-01-10 コニカミノルタ株式会社 歪センサー及び歪量測定方法
JP6316240B2 (ja) * 2015-06-09 2018-04-25 日本電信電話株式会社 測定装置及び測定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001227925A (ja) * 2000-02-15 2001-08-24 Nishimatsu Constr Co Ltd コンクリートの検査方法及び該方法に用いられる測定治具
CN101116101A (zh) * 2005-02-04 2008-01-30 佳能株式会社 位置/姿势测量方法和设备
CN1912534A (zh) * 2006-08-25 2007-02-14 哈尔滨工业大学 非接触式三轴气浮台转角测量装置及其测量方法
JP2013088169A (ja) * 2011-10-14 2013-05-13 Hitachi-Ge Nuclear Energy Ltd 検査装置及び方法
CN105698765A (zh) * 2016-02-22 2016-06-22 天津大学 双imu单目视觉组合测量非惯性系下目标物位姿方法

Also Published As

Publication number Publication date
CN107869984A (zh) 2018-04-03
US20180089853A1 (en) 2018-03-29
US10573021B2 (en) 2020-02-25
JP2018054452A (ja) 2018-04-05
JP6446009B2 (ja) 2018-12-26

Similar Documents

Publication Publication Date Title
US8917942B2 (en) Information processing apparatus, information processing method, and program
US11302022B2 (en) Three-dimensional measurement system and three-dimensional measurement method
US6751338B1 (en) System and method of using range image data with machine vision tools
US20180374239A1 (en) System and method for field calibration of a vision system imaging two opposite sides of a calibration object
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
US6728582B1 (en) System and method for determining the position of an object in three dimensions using a machine vision system with two cameras
JP7133283B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
US20160117824A1 (en) Posture estimation method and robot
JP2018055675A (ja) ３ｄ画像データにおける３ｄポーズの改良されたスコアリング及び偽ポイント除去のためのシステム及び方法
JP2009053147A (ja) ３次元計測方法および３次元計測装置
JP6983828B2 (ja) ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法
US9569850B2 (en) System and method for automatically determining pose of a shape
CN107869984B (zh) 位置姿势推定方法和位置姿势推定系统
JP2021193400A (ja) アーチファクトを測定するための方法
JP2017173142A (ja) 画像処理装置、画像処理方法およびミクロジョイント切断システム
JP2015072197A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
US10356394B2 (en) Apparatus and method for measuring position of stereo camera
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
JP2010243273A (ja) 円柱形状を有する物体の計測方法および計測装置
KR101747350B1 (ko) 비주얼 서보잉을 위한 객체의 좌표 인식 방법
JP2016095243A (ja) 計測装置、計測方法、および物品の製造方法
JP5280918B2 (ja) 形状測定装置
JP2019138859A (ja) ３次元空間の位置の特定方法
WO2021240934A1 (ja) 対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法
WO2012076979A1 (en) Model-based pose estimation using a non-perspective camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant