CN105444691B - 轮廓线测量装置以及机器人系统 - Google Patents

轮廓线测量装置以及机器人系统 Download PDF

Info

Publication number
CN105444691B
CN105444691B CN201510599190.8A CN201510599190A CN105444691B CN 105444691 B CN105444691 B CN 105444691B CN 201510599190 A CN201510599190 A CN 201510599190A CN 105444691 B CN105444691 B CN 105444691B
Authority
CN
China
Prior art keywords
mentioned
camera
line
edge
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510599190.8A
Other languages
English (en)
Other versions
CN105444691A (zh
Inventor
并木勇太
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN105444691A publication Critical patent/CN105444691A/zh
Application granted granted Critical
Publication of CN105444691B publication Critical patent/CN105444691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37359—Contour, to sense corners, edges of surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种轮廓线测量装置以及机器人系统。轮廓线测量装置具备：边缘线抽出部，其设定图像处理区域，从该区域内的对象物图像抽出边缘线；边缘点生成部，其分别生成边缘线和极线的交点即边缘点；对应点选择部，其从多个边缘点中选择与基准轮廓线的相互相同部位对应的一对边缘点；以及三维点计算部，其根据经过一对边缘点的照相机视线来计算对象物的轮廓线上的三维点。

Description

轮廓线测量装置以及机器人系统
技术领域
本发明涉及使用立体照相机测量对象物的三维轮廓线形状的轮廓线测量装置以及机器人系统。
背景技术
为了使用工业机器人对工件进行各种作业，需要掌握工件的三维轮廓线形状。在工件没有个体差异的情况下，能够从设计数据得到工件的轮廓形状的信息。但是，例如在工件是铸件的情况下，针对每个铸模工件存在个体差异，因此需要测量各个工件的轮廓线形状。
关于这点，目前已知一种装置，通过使用了2台照相机的立体方法，得到工件的正确的三维轮廓线信息(例如日本特开2012-202732号公报以及日本特开2013-130508号公报)。在日本特开2012-202732号公报以及日本特开2013-130508号公报所记载的装置中，通过2台照相机从不同的位置拍摄工件，从如此得到的一对图像中分别抽出边缘线(轮廓线的图像)。并且，求出从相同的极面得到的极线和各个图像上的边缘线的交点。并且，使各图像上的交点相互对应，使用这些对应点求出工件的轮廓线上的三维点的位置。
不过，在这些专利文献所记载的装置中，在存在多个与极线相交的边缘线的情况下，各图像上的交点不是1对1对应，从而难以求出对应点。
发明内容
本发明的一个方式的轮廓线测量装置具备第一照相机和第二照相机，其拍摄对象物分别取得第一对象物图像和第二对象物图像。轮廓线测量装置具备：极面生成部，其根据第一照相机和第二照相机的位置姿势，生成与对象物交叉的多个极面；极线计算部，其计算将多个极面投影到第一照相机的拍摄面上的多个第一极线和投影到第二照相机的拍摄面上的多个第二极线。轮廓线测量装置具备：基准轮廓线设定部，其设定对象物的三维的基准轮廓线；基准轮廓线图像计算部，其分别计算将基准轮廓线投影到第一照相机的拍摄面和第二照相机的拍摄面上的第一基准轮廓线图像和第二基准轮廓线图像。轮廓线测量装置具备边缘线抽出部，其在第一基准轮廓线图像的附近设定第一图像处理区域，从第一图像处理区域内的第一对象物图像抽出对象物的轮廓线的图像即第一边缘线，另一方面，在第二基准轮廓线图像的附近设定第二图像处理区域，从第二图像处理区域内的第二对象物图像中抽出对象物的轮廓线的图像即第二边缘线。轮廓线测量装置具备：边缘点生成部，其分别生成第一边缘线和多个第一极线的交点即多个第一边缘点以及第二边缘线和多个第二极线的交点即多个第二边缘点；对应点选择部，其从多个第一边缘点和多个第二边缘点中选择一对边缘点，该一对边缘点由使用相互相同的极面生成的，并且与基准轮廓线的相互相同部位对应的第一边缘点和第二边缘点组成。轮廓线测量装置具备三维点计算部，其根据经过一对边缘点的第一照相机的视线和第二照相机的视线，计算对象物的轮廓线上的三维点。
另外，本发明的另一方式的轮廓线测量装置具备第一照相机和第二照相机，其拍摄对象物分别取得第一对象物图像和第二对象物图像。轮廓线测量装置具备：基准轮廓线设定部，其设定对象物的三维的基准轮廓线；基准轮廓线图像计算部，其分别计算将基准轮廓线分别投影到第一照相机的拍摄面和第二照相机的拍摄面上的第一基准轮廓线图像和第二基准轮廓线图像。轮廓线测量装置具备边缘线抽出部，其在第一基准轮廓线图像的附近设定第一图像处理区域，从该第一图像处理区域内的第一对象物图像中抽出对象物的轮廓线的图像即第一边缘线，另一方面，在第二基准轮廓线图像的附近设定第二图像处理区域，从该第二图像处理区域内的第二对象物图像中抽出对象物的轮廓线的图像即第二边缘线。轮廓线测量装置具备：第一边缘点生成部，其在第一边缘线上生成多个第一边缘点；极面生成部，其根据第一照相机和第二照相机的位置姿势，生成分别经过多个第一边缘点的多个极面；极线计算部，其计算将多个极面投影到第二照相机的拍摄面上的多个极线。轮廓线测量装置具备：第二边缘点生成部，其生成多个极线和第二边缘线的交点即多个第二边缘点；对应点选择部，其从多个第一边缘点和多个第二边缘点中选择一对边缘点，该一对边缘点由第一边缘点和从该第一边缘点求出的第二边缘点组成，并且与基准轮廓线的相互相同部位对应。轮廓线测量装置具备三维点计算部，其根据经过一对边缘点的第一照相机的视线和第二照相机的视线，计算对象物的轮廓线上的三维点。
并且，本发明的另一方式为机器人系统，其具备：机器人；控制该机器人的机器人控制装置；以及上述的轮廓线测量装置，在机器人的机械臂前端部安装构成轮廓线测量装置的第一照相机和第二照相机，或者通过机器人的机械臂前端部抓持由第一照相机和第二照相机拍摄的对象物。
附图说明
通过对与附图相关联的以下的实施方式进行说明，本发明的目的、特征以及优点更加明确。在该附图中：
图1是表示本发明第一实施方式的轮廓线测量装置的主要结构的图。
图2是表示图1的轮廓线测量装置的控制结构的框图。
图3是表示图2的图像处理部的详细结构的框图。
图4是表示在图3的图像处理部执行的处理的一例的流程图。
图5是本发明的第一实施方式的轮廓线测量装置得到的测量对象即工件的平面图。
图6是表示极面的一例的图。
图7是表示极线的一例的图。
图8是表示边缘线的一例的图。
图9是表示最近点的一例的图。
图10是表示图9的变形例的图。
图11是表示分割极面的方法的图。
图12是表示分割后的极面的图。
图13是表示图4的变形例的流程图。
图14是表示本发明第二实施方式的机器人系统的主要结构的图。
图15是表示图14的变形例的图。
图16是表示图14或图15的视觉传感器控制装置内的图像处理部的详细结构的框图。
图17是主要表示图16的评价部的处理的一例的流程图。
图18是表示图14或图15的变形例的图。
具体实施方式
(第一实施方式)
以下，参照图1～图13说明本发明的第一实施方式。图1是表示本发明第一实施方式的轮廓线测量装置100的主要结构的图。轮廓线测量装置100具备：一对照相机3(第一照相机3A和第二照相机3B)，其对在作业台1上载置的作为对象物的工件2进行拍摄；以及视觉传感器控制装置5，其与第一照相机3A和第二照相机3B进行通信来计算工件2的轮廓线形状。通过轮廓线(图5的轮廓线2a)规定了工件2的形状。因此通过计算轮廓线形状能够确定工件形状。
照相机3例如是具有CCD(Charge Coupled Device电荷耦合器件)等拍摄元件的电子照相机，具有通过拍摄在拍摄面(CCD阵列面上)检测二维图像的功能的众所周知的受光设备。另外，以下将拍摄面的二维坐标系称为传感器坐标系。通过台架4分别支撑第一照相机3A和第二照相机3B。决定三维的世界坐标系中的一对照相机3A、3B的位置和姿势，以使第一照相机3A和工件2之间的距离以及第二照相机3B和工件2之间的距离大致相等。另外，决定三维的世界坐标系中的一对照相机3A、3B的位置和姿势，以便通过第一照相机3A和第二照相机3B能够摄影相互大致相同的范围(参照图5)。另外，以下将三维的世界坐标系称为机器人坐标系。
图2是表示图1的轮廓线测量装置100的控制结构的框图。如图2所示，轮廓线测量装置100除了具备一对照相机3A、3B以及视觉传感器控制装置5以外，还具备视觉传感器操作盘6。视觉传感器操作盘6对视觉传感器控制装置5输入各种指令。视觉传感器控制装置5包含运算处理装置而构成，该运算处理装置具有CPU(Central Processing Unit中央处理单元)、ROM(Read Only Memory只读存储器)、RAM(Read Access Memory随机存取存储器)以及其他的外围电路等。视觉传感器控制装置5具有作为功能结构的轮廓线信息存储部7、校准数据存储部8、图像处理部10。
轮廓线信息存储部7预先存储成为基准的工件2的轮廓线，即基准轮廓线的三维形状信息和位置信息。根据设计值赋予基准轮廓线。视觉传感器控制装置5例如能够通过预定的文件形式从外部直接读入基准轮廓线的三维形状信息。另外，视觉传感器控制装置5从外部读入工件2的三维CAD数据，用户经由视觉传感器操作盘6指定工件2的轮廓线的位置来赋予三维形状信息。
例如在工件2上定义一个坐标系(工件坐标系)，通过以工件坐标系作为基准的坐标数据表示构成基准轮廓线的点和线等的位置，由此赋予基准轮廓线的三维形状信息。此时，工件坐标系相对于机器人坐标系的位置姿势、即工件坐标系的原点在机器人坐标系中的位置以及在该位置的工件坐标系的姿势相当于基准轮廓线的位置信息。
校准数据存储部8预先存储一对照相机3A、3B的校准数据。另外，求出校准数据的方法和校准数据的形式众所周知，省略对该点的说明。如果求出照相机的校准数据，则能够计算机器人坐标系中的三维点(称为注视点)在照相机的图像上的位置、即传感器坐标系中的二维点。另外，如果作为传感器坐标系的二维点赋予了注视点的图像，则能够计算经过机器人坐标系中的注视点和照相机3的焦点的三维直线即视线。
并且如果对一对照相机3A、3B分别求出校准数据，则在赋予了注视点在机器人坐标系中的三维位置时，能够计算经过该注视点和第一照相机3A的焦点以及第二照相机3B的焦点的平面、即极面(参照图6)。另外，如果作为第一照相机3A的传感器坐标系的二维点以及第二照相机3B的传感器坐标系的二维点赋予了注视点的图像，则能够计算机器人坐标系中的注视点的三维位置坐标。
图像处理部10根据来自第一照相机3A、第二照相机3B、轮廓线信息存储部7、校准数据存储部8以及视觉传感器操作盘6的信号执行预定的处理(轮廓线测量处理)。由此，图像处理部10求出一对对应点，即与工件2的轮廓线上的三维点(测量点)对应的第一照相机3A的传感器坐标系的二维点以及与同一测量点对应的第二照相机3B的传感器坐标系的二维点。并且，图像处理部10使用一对对应点计算机器人坐标系中的测量点的三维位置。图3是表示图像处理部10的详细结构的框图。图4是表示图像处理部10执行的处理的一例的流程图。
如图3所示，图像处理部10具有极面生成部11、极线计算部12、照相机控制部13、基准轮廓线设定部19、基准轮廓线图像计算部14、边缘线抽出部15、边缘点生成部16、对应点选择部17以及三维点计算部18。
例如当用户经由视觉传感器操作盘6输入了工件2的轮廓线测量指令时开始图4所示的轮廓线测量处理。以下将工件2设为配置在轮廓线信息存储部7中存储的位置信息所表示的位置的附近的工件来说明图4的处理。图5是工件2的平面图，表示轮廓线2a的一例。图5的工件2的面与照相机3A、3B相向，图5中，投影表示第一照相机3A的摄影范围AR1和第二照相机3B的拍摄范围AR2。这些拍摄范围AR1、AR2大致相等，拍摄范围AR1、AR2包含整个工件。
在步骤S1，通过极面生成部11的处理，在第一照相机3A和第二照相机3B的公共视野内生成与工件2交叉的多个极面ES。图6是表示极面ES的一例的图。另外，图6中一并表示了照相机3的拍摄面30(30A、30B)。考虑工件2的轮廓线2a上的测量点的密度以及测量点的三维位置的计算所需要的计算时间等，决定极面ES的个数。为了生成极面ES，需要在三维空间中至少设定与极面ES相同数量的注视点P。注视点P例如按照以下顺序进行设定。另外，以下为了简化说明，使第一照相机3A的光轴和第二照相机3B的光轴在距离各个照相机3A、3B适当距离的一点相交。
首先，计算第一照相机3A的光轴的方向矢量和第二照相机3B的光轴的方向矢量之和(矢量A)。接着，计算第一照相机3A的光轴和第二照相机3B的光轴的交点(交点A)。接着，计算通过第一照相机3A的光轴和第二照相机3B的光轴制作的平面(平面A)。接着，计算经过交点A并且将矢量A作为法线的平面(平面B)。接着，计算平面A和平面B的交线(直线A)。接着，计算位于平面B上且经过交点A与直线A正交的直线(直线B)。最后，如图5所示，在直线B上以预定的间隔生成注视点P(P1，P2，……Pn)。关于这些注视点P，如图6所示，生成经过第一照相机3A的焦点FP1和第二照相机3B的焦点FP2的极面ES。
在步骤S2，通过极线计算部12的处理，对于在步骤S1生成的多个极面ES分别计算极线EL。即，如图6所示，将极面ES分别投影到第一照相机3A的拍摄面30A和第二照相机3B的拍摄面30B，计算极线EL。针对多个极面进行这些计算，取得多个极线EL。图7是表示一方的照相机3的拍摄面30中的多个极线EL(EL1、EL2、……ELn)的一例的图。
另外，如果一对照相机3A、3B的位置关系和各照相机3A、3B的焦点距离等的光学条件不变的话，则不需要重新求出在步骤S1生成的极面ES和在步骤S2计算出的极线EL。因此，可以将曾经生成的极面ES和曾经计算出的极线EL例如存储在视觉传感器控制装置5的内部或外部的存储装置中，在进行工件2的轮廓线测量时分别读入它们。由此，能够省略求出极面ES和极线EL的计算，能够高速地测量轮廓线形状。
在步骤S3，通过照相机控制部13的处理，向照相机3A、3B输出控制信号，分别使第一照相机3A和第二照相机3B拍摄工件2。第一照相机3A拍摄工件2从而拍摄作为第一对象物图像的第一工件图像。第二照相机3B拍摄工件2从而拍摄作为第二对象物图像的第二工件图像。由此在各照相机3A、3B的拍摄面30A、30B得到图像(工件图像)。
在步骤S4，基准轮廓线设定部19例如根据基准轮廓线的三维形状信息以及位置信息，设定工件2的三维基准轮廓线。接着，通过基准轮廓线图像计算部14的处理，将轮廓线信息存储部7中存储的工件2的基准轮廓线分别投影到第一照相机3A的图像上以及第二照相机3B的图像上，计算基准轮廓线图像40(参照图8)。具体地说，首先在基准轮廓线上以预定间隔设定多个三维点。例如，在工件坐标系设定了多个三维点后，将该三维点的坐标变换为机器人坐标系的坐标，由此设定多个三维点。接着，分别将多个三维点投影到各照相机3A、3B的图像上，求出传感器坐标系上的多个二维点。依次连接这样得到的多个二维点，取得基准轮廓线图像40。
在步骤S5，通过边缘线抽出部15的处理，从各照相机3A、3B的图像抽出边缘线50。边缘线50是连接了图像内的亮度值的变化量大的部分的线段的集合。例如能够使用索贝尔(Sobel)滤波器和坎尼(Canny)边缘检测器抽出边缘线50。图8是表示拍摄面30中的图像上的边缘线50的一例的图。
在抽出边缘线50时，首先如图8所示那样在基准轮廓线图像40的附近，例如在距离基准轮廓线图像40预定距离ΔL内设定边缘线检测区域41。既能预先在视觉传感器控制装置5内的存储器中存储预定距离ΔL，也能经由视觉传感器操作盘6设定预定距离ΔL。另外，预定距离ΔL既可以在整个基准轮廓线图像40中恒定，也可以根据基准轮廓线图像40的场所使预定距离ΔL变化。
边缘线抽出部15从边缘线检测区域41内的图像检索并抽出边缘线50。通过这样限制边缘线50的检索区域，具有如下效果：能够抑制将检测对象即工件的轮廓线以外的边缘线作为边缘线50抽出。另外，还具有能够高速地抽出边缘线50的效果。将多个边缘线50连接后的图像表示实际的工件2的轮廓线的图像。另外，在基准轮廓线和实际的工件2的轮廓线之间存在由于工件2的个体差异和位置信息的偏差等引起的偏差，因此在图8中，在基准轮廓线图像40和边缘线50之间产生了偏差。
在步骤S6，通过边缘点生成部16的处理，计算在步骤S5抽出的各图像上的边缘线50和极线EL的交点来作为边缘点EP。在各照相机3A、3B的图像上分别得到多个边缘点EP。以下将第一照相机3A的图像上的多个边缘点EP称为第一边缘点群。将第二照相机3B的图像上的多个边缘点EP称为第二边缘点群。
另外，图7中，多个边缘线50与极线EL交叉，在相同的极面ES上生成了多个边缘点EP(EP1和EP2，EP3和EP4)。本实施方式中，在边缘线50和极线EL接近平行的地方，边缘点EP的误差变大，所以边缘点生成部16不会在这样的地方生成边缘点。
在步骤S7，通过对应点选择部17的处理，从在步骤S6中取得的第一边缘点群和第二边缘点群中分别逐个选择相互对应的边缘点EP。以下，将选择出的一对边缘点EP、即从第一边缘点群中选择出的边缘点EP(第一边缘点)和从第二边缘点群中选择出的边缘点EP(第二边缘点)分别称为对应点，将第一边缘点EP和第二边缘点EP的组合称为边缘点对。例如如下那样进行边缘点对的选择。
首先，从第一边缘点群和第二边缘点群中分别抽出存在于相互相同的极面ES上的边缘点EP。抽出的边缘点EP成为边缘点对的候补。当从第一边缘点群抽出的第一边缘点EP和从第二边缘点群抽出的第二边缘点EP分别是一点时，在相同的极面ES上边缘点EP彼此一对一对应，因此，将其作为边缘点对。当从第一边缘点群抽出的第一边缘点EP和从第二边缘点群抽出的第二边缘点EP的至少一方不存在时，在相同的极面ES上边缘点EP不对应，因此无法生成边缘点对。
另一方面，当从第一边缘点群抽出的第一边缘点EP和从第二边缘点群抽出的第二边缘点EP的至少一方为多个时，求出与各边缘点EP对应的基准轮廓线图像40上的最近点NP。图9是表示最近点NP(NP1，NP2)的一例的图。最近点NP是离边缘点EP的距离为最小的基准轮廓线图像40上的点，例如如图9所示，在边缘点EP1、EP2的针对边缘线50的垂线51与基准轮廓线图像40的交点成为最近点NP1、NP2。将该交点作为起点，搜索离边缘点EP的距离成为最小的基准轮廓线图像40上的点，可以将其作为最近点NP。如图10所示，在为了使边缘线50与基准轮廓线图像40一致而使边缘线50整体平行移动和/或旋转移动后，求出与该移动后的边缘线50’上的边缘点EP1’、EP2’的距离为最小的点，将其作为最近点NP1、NP2。
接着，计算经过第一照相机3A的图像上的最近点NP的第一照相机3A的视线与工件2的基准轮廓线的交点即第一投影原始点，并且计算经过第二照相机3B的图像上的最近点NP的第二照相机3B的视线与基准轮廓线的交点即第二投影原始点。此时，第一边缘点EP和第二边缘点EP的至少一方是多个，因此第一投影原始点和第二投影原始点的至少一方也求出多个，将其中第一投影原始点和第二投影原始点之间的距离(投影原始点间距离)比预定值α短的边缘点对选择为边缘点对。
投影原始点间距离即可以是第一投影原始点和第二投影原始点的直线距离，也可以设为第一投影原始和第二投影原始点之间的基准轮廓线的长度。预定值α是用于判定各照相机3A、3B的图像上的最近点NP是否表示基准轮廓线的相互相同的部位的阈值。当存在多个投影原始点间距离比预定值α短的边缘点对时，可以将投影原始点间距离为最小的边缘点对选择为边缘点对。当存在多个投影原始点间距离相近的边缘点对时，还考虑最近点NP和边缘点EP的距离来选择边缘点对。
在从第一边缘点群抽出的第一边缘点EP和从第二边缘点群抽出的第二边缘点EP分别为1点的情况下，与上述情况相同地计算投影原始点间距离，将投影原始点间距离比预定值α小作为条件选择边缘点对。由此，能够评价第一边缘点EP和第二边缘点EP是否良好地对应，即是否为有效的边缘点对。
在步骤S8，通过三维点计算部18的处理，分别计算将在步骤S7求出的构成边缘点对的第一边缘点EP和第一照相机3A的焦点进行连接的视线、以及将第二边缘点EP和第二照相机3B的焦点连接的视线，进而计算这2条视线的交点(测量点)。由此，能够求出工件2的轮廓线上的测量点的三维位置。
这样在第一实施方式中，通过在图像上设定最近点NP，从第一边缘点群以及第二边缘点群中选择存在于相互相同的极面ES上且与基准轮廓线的相互相同的部位对应的第一边缘点EP和第二边缘点EP的对，使用该边缘点对来确定机器人坐标系中的测量点的位置，计算测量点的三维位置。由此，即使是存在多个与极线EL相交的边缘线50从而存在多个边缘点对的候补的情况下，也能够使第一边缘点EP和第二边缘点EP良好地一对一对应，能够高精度地计算工件2的轮廓线上的三维点的位置。
另外，在本实施方式中，通过2台照相机这样比较简单的结构，能够求出工件2的三维轮廓线形状。并且，照相机3A、3B的拍摄只进行一次即可，所以能够高速地进行轮廓线形状的测量。另外，根据本实施方式，不仅是在特定的平面上具有工件2的三维轮廓线的情况，即使在三维轮廓线不在平面上的情况下，也能够求出轮廓线的位置。
能够事先分割极面ES，以使对应点选择部17的在相同极面ES上的点EP尽可能地一对一对应。图11是表示通过分别与第一照相机3A和第二照相机3B对应的分割线DA和分割线DB分割极面ES的方法的图。首先，分别针对多个极面ES中的各个极面计算与基准轮廓线的交点Pα、Pβ。在只存在一个交点或不存在焦点的情况下，直接进入到下一个步骤。当存在多个交点的情况下，求出所有在该极面上相邻的交点Pα、Pβ之间的中点Pγ，通过连接各个中点Pγ和第一照相机3A的焦点FP1或第二照相机3B的焦点FP2的分割线DA、DB来分割极面ES。
通过第一照相机3A和第二照相机3B的各自不同的分割线DA、DB分割极面ES，但是如图12所示，针对通过相同的中点Pγ1、Pγ2、Pγ3分割的第一照相机3A和第二照相机3B的极面分配相同的指数A1～A4、B1～B4，作为相同的极面进行处理。将分割后的极面作为各自不同的极面进行处理，从第一边缘点群和第二边缘点群中分别抽出存在于相互相同的分割后的极面Es上的边缘点EP，由此能够限制对应点的候补的数量。显而易见基准轮廓线的分割和边缘线50的抽出区域的分割也能够得到与极面ES的分割相同的效果，所以省略说明。
图13是表示图4的变形例的流程图。在步骤S11，和图4的步骤相同，通过照相机控制部13的处理使第一照相机和第二照相机进行拍摄动作，取得一对图像。在步骤S12，和图4的步骤S4相同，通过基准轮廓线图像计算部14的处理，在一对图像上分别投影基准轮廓线，计算基准轮廓线图像40。在步骤S13，与图4的步骤S5相同，通过边缘线抽出部15的处理，从一对图像抽出边缘线50。
在步骤S14，通过边缘点生成部16的处理，在从第一照相机3A的图像中抽出的边缘线50上以预定间隔生成多个边缘点EP(第一边缘点群)。此时，边缘点生成部16作为第一边缘点生成部发挥功能。第一边缘点EP是用于求出轮廓线上的三维点的成为基准的点，为了得到足够紧密的三维点而设定预定间隔。
在步骤S15，通过极面生成部11的处理，针对在步骤S14生成的各个第一边缘点EP，生成经过各边缘点EP和照相机3A、3B的焦点的多个极面ES。
在步骤S16，通过极线计算部12的处理，将在步骤S15生成的多个极面ES分别投影到第二照相机3B的拍摄面30B，计算多个极线EL。
在步骤S17，通过边缘点生成部16的处理，计算在步骤S16计算出的多个极线EL和边缘线50的交点即多个第二边缘点EP(第二边缘点群)。这时，边缘点生成部16作为第二边缘点生成部发挥功能。
在步骤S18，通过对应点选择部17的处理，从第一边缘点群和第二边缘点群中选择第一边缘点EP和通过根据该第一边缘点EP生成极面ES和极线EL而求出的第二边缘点EP，将它们作为边缘点对。
这时，当在相同的极面ES上存在多个第一边缘点EP和/或多个第二边缘点EP时，与上述相同地，依次求出与各边缘点EP对应的最近点NP和投影原始点，进而将投影原始点间距离比预定值α短的第一边缘点和第二边缘点设为边缘点对。由此，能够将与基准轮廓线的相互相同部位对应的第一边缘点EP和第二边缘点EP作为边缘点对。
在步骤S19，与图4的步骤S8相同地，通过三维点计算部18的处理，使用在步骤S18计算出的边缘点对求出工件2的轮廓线上的测量点的三维位置。
(第二实施方式)
参照图14～图18说明本发明的第二实施方式。另外，以下对于与图1～图10相同的地方赋予相同的符号，主要说明与第一实施方式的不同点。第二实施方式是具有轮廓线测量装置100的机器人系统，使用机器人可移动地设置一对照相机3A、3B和工件2中的至少一方。
图14是表示本发明第二实施方式的机器人系统200的主要结构的图。如图14所示，机器人系统200具备一对照相机3A，3B、与一对照相机3A，3B进行通信来计算工件2的轮廓线形状的视觉传感器控制装置5、支撑一对照相机3A，3B的机器人60、控制机器人60的机器人控制装置65。另外，一对照相机3A，3B和视觉传感器控制装置5构成轮廓线测量装置100。机器人控制装置作为机器人控制部发挥功能。视觉传感器控制装置5与图2同样地具有轮廓线信息存储部7、校准数据存储部8以及图像处理部10。
机器人60是将能够旋转的多个机械臂61连接而构成的多关节机器人，在机械臂前端部具有机械手62。在机器人60的机械臂前端部安装支架63，在支架63上固定了一对照相机3A、3B。由此，如果驱动机械臂61，则第一照相机3A和第二照相机3B能够恒定地维持其相对位置姿势地在三维空间中移动，能够变更照相机3A、3B相对于工件2的相对位置姿势。
视觉传感器控制装置5和机器人控制装置65通过RS232C、LAN(Local AreaNetwork局域网)等众所周知的方法进行连接，能够相互通信。由此，视觉传感器控制装置5能够从机器人控制装置65取得机器人60的当前位置信息。另外，机器人控制装置65能够从视觉传感器控制装置5取得工件2的轮廓线形状的信息。
第二实施方式与第一实施方式不同，照相机3A、3B能够在机器人坐标系中移动。考虑到这点，在视觉传感器控制装置5内的校准数据存储部8中存储了以在机器人60的机械臂前端部设定的坐标系(机械接口坐标系)为基准的照相机3A、3B的校准数据、即机械接口坐标系中的校准数据。另一方面，机器人控制装置65能够掌握机器人坐标系中的机械臂前端部的位置。
因此，通过存储在校准数据存储部8中的校准数据使传感器坐标系的二维点和机械接口坐标系的三维点对应，进而根据机器人控制装置65掌握的机械臂前端部的位置，将机械接口坐标系坐标变换为机器人坐标系，由此能够使传感器坐标系的二维点和机器人坐标系的三维点对应。即，能够求出从机器人坐标系观察的传感器坐标系的位置姿势。由此和第一实施方式相同，能够使用通过传感器坐标系表现的图像数据测量工件2的轮廓线的三维点位置。
另外，在校准数据存储部8中可以存储机器人坐标系中的照相机3A、3B的校准数据，并且还可以存储执行校准时的机器人60的位置信息。这时，通过使用拍摄工件时的机器人位置信息和执行校准时的机器人位置信息，能够求出拍摄工件时的从机器人坐标系观察的传感器坐标系的位置姿势。
使用机器人60除了能够使照相机3A、3B移动，还能够使工件2移动。图15是表示其一例的图。在图15中，一对照相机3A、3B被固定在作业台32上，机器人60的机械臂前端部的机械手62抓持工件2。因此，如果驱动机器人6，则工件2移动，由此能够变更工件2相对于照相机3A、3B的相对位置姿势。
这时，在视觉传感器控制装置5内的轮廓线信息存储部7中不存储从机器人坐标系观察到的工件坐标系的位置姿势，而存储了从机械接口坐标系观察到的工件坐标系的位置姿势。根据拍摄工件时的机器人的位置信息将从该机械接口坐标系观察到的工件坐标系的位置姿势进行坐标变换，从而能够根据从机械接口坐标系观察到的工件坐标系的位置姿势求出从机器人坐标系观察到的工件坐标系的位置姿势。由此，与第一实施方式相同，使用通过传感器坐标系表现的图像数据，能够测量工件2的轮廓线的三维点位置。
在第二实施方式中，通过使用机器人60移动照相机3A、3B或工件2，能够测量工件2的轮廓线的不同部位的三维点。图16是表示第二实施方式的图像处理部10的结构的图。图像处理部10除了图3的结构，还具备拍摄位置计算部21和评价部22。
拍摄位置计算部21计算机械臂前端部的目标位置(位置姿势)。机器人控制装置65控制机器人60，使得机械臂前端部向该目标位置移动。照相机控制部13在机械臂前端部移动到目标位置的状态下，通过照相机3A、3B拍摄工件2。
拍摄位置计算部21为了容易测量基准轮廓线考虑基准轮廓线上的注视点的法线方向，从而决定机械臂前端部的目标位置。例如，当基准轮廓线表示工件2的加工面的边缘时，确定机械臂前端部的目标位置，使得注视点的法线方向垂直于加工面。
并且，决定目标位置，以便满足以下三个条件：(1)第一照相机3A的光轴和第二照相机3B的光轴的焦点成为和注视点相同的位置，(2)对于表示第一照相机3A的光轴方向的矢量与表示第二照相机3B的光轴方向的矢量之和，注视点的法线方向成为平行；(3)第一照相机3A的光轴和第二照相机3B的光轴所形成的平面与经过注视点并由注视点的法线所规定的平面之间的交线与基准轮廓线的注视点的切线成为直角。由此，图像上的极线EL和边缘线50难以平行，容易测量基准轮廓线。
在第二实施方式中，在相对于照相机3A、3B的拍摄范围AR1、AR2，轮廓线大时，设定多个目标位置，优选分多次进行轮廓线的测量。这时，机器人控制装置65将机械臂前端部依次向多个目标位置进行移动，在每次机械臂前端部移动到多个目标位置时，第一照相机3A和第二照相机3B拍摄工件2。
多个目标位置能够手动设定，也能够自动设定。在自动设定目标位置时，最初在基准轮廓线上设定注视点，如上所述决定机械臂前端部的目标位置。将与该目标位置对应的第一照相机3A的拍摄范围AR1和第二照相机3B的拍摄范围AR2双方包含的基准轮廓线的部位作为虚拟的已拍摄部位存储在存储器中。另外，拍摄范围AR1、AR2不仅由于照相机自身物理地进行限制，还通过在软件方面设定处理区域进行限制。
接着，在虚拟的已拍摄部位的外侧新设定了注视点的基础上，使用注视点重复上述的处理，将虚拟的已拍摄部位追加存储到存储器中。重复进行新的注视点的设定和虚拟的已拍摄部位向存储器的存储，直到虚拟的已拍摄部位包含整个基准轮廓线为止。由此，能够进行整个轮廓线的测量。此时，优选使相互邻接的虚拟的已拍摄部位部分重复，从而在其间不存在未拍摄的部位。可以一边评价虚拟的已拍摄部位的重复状态一边逐次地求出注视点。
目标位置的设定方法不限于上述情况。例如，可以考虑从目标位置到下一个目标位置的机械臂前端部的移动距离来决定目标位置。在设定目标位置时，优选考虑机器人的可动范围。
图16所示的评价部22评价机械臂前端部的目标位置的有效性。图17主要是表示评价部22的处理的一例的流程图。该流程图所示的处理例如在每次通过拍摄位置计算部21计算机械臂前端部的目标位置时开始。
在步骤S21中，使安装了一对照相机3A、3B的机器人60(图14)或抓持工件2的机器人60(图15)的机械臂前端部虚拟地移动到目标位置。在步骤S22，在将机械臂前端部虚拟地移动到目标位置的状态下，将工件2的基准轮廓线投影到第一照相机3A的拍摄面30A和第二照相机的拍摄面30B上，计算临时的基准轮廓线图像。
在步骤S23中，在第一照相机3A和第二照相机3B的共同视野内生成多个极面ES。可以和图4的步骤S1同样地以预定间隔生成极面ES，也可以和图13的步骤S15同样地在临时的基准轮廓线图像上以预定间隔生成多个点，以通过这些点的方式生成极面ES。在步骤S24，计算多个极面ES和照相机3A、3B的拍摄面30A、30B交叉的多个极线EL。
在步骤S25，计算临时的基准轮廓线图像和多个极线EL交叉的多个交点。在步骤S26，计算在各交点的临时的基准轮廓线图像和极线EL的交叉角度。例如，将临时的基准轮廓线图像的角度减去极线EL的角度得到的角度作为交叉角度，当交叉角度比90°大时，减去180°，使交叉角度的范围成为－90°以上90°以下的范围。
在步骤S27，根据在步骤S26计算出的交叉角度判定目标位置是否有效。例如，如果在所有交点的交叉角度的绝对值比预定角度大，则排除了极线EL和基准轮廓线图像平行或接近平行的情况，因此判定目标位置有效。还可根据交叉角度的绝对值在预定角度以下的交点个数、或者交叉角度的绝对值在预定角度以下的交点的个数相对于全部交点的比例，评价目标位置的有效性。预先指定想要测量轮廓线的部位，当该部位的交点的交叉角度的绝对值比预定角度大时，可以判定为目标位置有效。
如果步骤S27为肯定，则结束处理。之后，机器人控制装置65使机器人60的机械臂前端部向通过评价部22评价为有效的目标位置进行移动。另一方面，如果步骤S27为否定，则进入步骤S28。
在步骤S28，拍摄位置计算部21计算使交叉角度的绝对值变大的新的目标位置，返回步骤S21。例如能够如以下那样计算新的目标位置。首先，计算表示第一照相机的光轴方向的矢量和表示第二照相机的光轴方向的矢量之和。接着，将该矢量之和作为旋转轴，以旋转轴为中心使机械臂前端部旋转。这时的旋转角度例如设为预先设定的步进角度、或者能够将0～90°的范围分割为多次的步进角度即可。在－90°～90°的范围每次以步进角度增加或减少旋转角度，由此搜索由评价部22评价为有效的目标位置。或者，可以将在－90°或90°加上交叉角度的平均值或中间值或众数后得到的值设为旋转角度。机械臂前端部的旋转方向可以是任意的方向，也可以考虑机器人60的位置姿势、移动等来决定旋转方向。在无论哪个方向都能够旋转的情况下，选择旋转角度的绝对值小的方向即可。
在即使旋转机械臂前端部也无法使所有的交点的交叉角一次充分变大的情况下，可以设定多个目标位置，在各目标位置进行轮廓线上的三维点的测量。例如，当交叉角度在－90°～90°的范围内平均分布时，无法使交点的交叉角一次充分变大，因此该方法有效。
以上分别设置了机器人控制装置65和视觉传感器控制装置5(图14或图15)，不过也能够将视觉传感器控制装置5设置在机器人控制装置65内。图18是表示这样的一个例子的图。如图18所示，在机器人控制装置65内设置了机器人控制部651和视觉传感器控制装置5。机器人控制部651与用于输入与机器人60的动作相关的各种指令的机器人操作盘652、机器人60连接。
(变形例)
上述第一实施方式和第二实施方式可以进一步进行以下的变形。可以追加设置测量工件2的位置姿势的位置姿势测量部(例如，图1的三维测量传感器31)，将位置姿势测量部测量出的工件2的位置姿势存储在轮廓线信息存储部7中。这时，例如基准轮廓线图像计算部14根据测量到的工件2的位置姿势，变更存储在轮廓线信息存储部7中的工件的位置信息，将基于变更后的工件位置信息的基准轮廓线投影到图像上即可。由此，即使在与轮廓线信息存储部7中存储的工件位置不同的位置上配置了工件2，也能够适当地检测工件2的轮廓线。
如图1所示，三维测量传感器可以固定设置在台架等上，也可以安装在机器人60的机械臂前端部。可以使一对照相机3A、3B中的至少一方具有三维测量传感器的功能。作为三维测量传感器，能够使用激光扫描传感器、立体照相机。还能够使用基于力传感器的3点接触方式，或者通过二维照相机来测量工件2的位置姿势。通过6轴方向(正交3轴方向和旋转3轴方向)的成分(6个成分)决定工件2的位置姿势，不过也可以通过三维测量传感器测量一部分成分。即使通过三维传感器测量工件2的位置姿势，工件2也会有固定差，因此无法正确地求出工件2的三维轮廓线形状。
在上述实施方式(图14、图15)中，机器人系统通过一对照相机3A、3B得到一对图像，不过也能够通过单一的照相机3(例如第一照相机3A)得到一对图像，由此能够降低成本。这时，能够将安装有单一照相机3的机器人(图14)的机械臂前端部依次移动到与一对照相机3A、3B相对于工件2的相对位置姿势对应的第一位置和第二位置。或者，能够使抓持工件2的机器人(图16)的机械臂前端部依次移动到与工件2相对于一对照相机3A、3B的相对位置姿势对应的第一位置和第二位置，在第一位置和第二位置分别拍摄工件2。这样，能够取得相当于一对照相机3A、3B的图像的图像。
在使用单一的照相机3的情况下，可以使一对照相机3A、3B的相对位置恒定来决定第一位置和第二位置，也可以通过根据工件2的拍摄部位变更相对位置的方式决定第一位置和第二位置。在使用单一的照相机3分多次拍摄工件2的轮廓线的情况下，在多个第一位置和多个第二位置分别拍摄工件。这时，可以不重复交互地进行第一位置和第二位置的拍摄，而是在多个第一位置进行拍摄后，在多个第二位置进行拍摄。由此，能够减少机器人60的移动量，能够高效地进行轮廓线的测量。
在上述实施方式中，通过对应点选择部17的处理，从作为边缘点对的候补的第一边缘点群和第二边缘点群中选择了相互对应的第一边缘点EP和第二边缘点EP。这时，运算经过边缘点EP的边缘线50的斜率和与边缘点EP对应的最近点NP的基准轮廓线图像40的斜率之间的差，可以将该差成为预定角度以上的边缘点EP从边缘点对的候补中排除。即，对应点选择部17可以将斜率的差比预定角度小作为条件来选择一对边缘点。由此，边缘点EP和最近点NP良好地对应，能够经由最近点NP选择正确的边缘点对。
另外，在上述实施方式中，边缘线抽出部15从图像上的边缘线50抽出用于求出第一边缘点群和第二边缘点群的边缘线50，不过也可以抽出边缘点EP的边缘线50的明暗方向和最近点NP的基准轮廓线图像40的明暗方向一致的边缘线50。这里，明暗的方向是表示在将基准轮廓线图像40和边缘线50作为边界的2个区域哪个亮。例如，如果通过二维矢量a表示边缘线50的斜率，则a和－a表示边缘线50的斜率相等但明暗方向不同的情况。
能够根据基准轮廓线图像40附近的明暗信息和边缘线50附近的明暗信息确定明暗的方向。将基准轮廓线图像40附近的明暗信息作为基准轮廓线的信息预先存储在轮廓线信息存储部7中。另一方面，能够通过图像取得边缘线50的明暗信息。这样考虑边缘线50和基准轮廓线图像40的明暗方向来抽出边缘线50，由此在经由基准轮廓线图像40选择边缘点对时，能够选择正确的边缘点对。
在上述实施方式中，在一对图像上的基准轮廓线图像40(第一基准轮廓线图像和第二基准轮廓线图像)的附近设定了边缘线检测区域41(第一图像处理区域和第二图像处理区域)。并且，在该边缘线检测区域内抽出边缘线50(第一边缘线、第二边缘线)，但也可以不设定图像处理区域地抽出边缘线50，边缘线抽出部15的结构不限于上述情况。能够使用离线仿真装置进行图像处理部10的一部分处理(例如目标位置的设定和评价)。
在上述实施方式中，通过轮廓线测量装置测量工件2的轮廓线，也能够同样地测量其他对象物的轮廓线。在上述实施方式中，在求出一对图像上的相互对应的一对边缘点时，设定预先存储在轮廓线信息存储部7中的三维基准轮廓线，不过基准轮廓线设定部的结构不限于此。如果能够变更照相机3A、3B相对于工件2的相对位置姿势，则构成机器人系统的机器人60的结构可以是任意的。
在上述实施方式中，分别求出与一对图像上的边缘点EP(第一边缘点、第二边缘点)对应的最近点NP，进而分别求出与各个最近点NP对应的基准轮廓线图像(第一基准轮廓线图像、第二基准轮廓线图像)上的投影原始点(第一投影原始点、第二投影原始点)。然后，根据第一投影原始点和第二投影原始点的位置关系选择一对边缘点，但对应点选择部17的结构不限于此。即，如果从一对图像上的边缘线50(第一边缘线、第二边缘线)与多个极线EL之间的交点即多个第一边缘点EP和多个第二边缘点EP中选择如下一对边缘点，则对应点选择部17的处理不限于图4的步骤S7的处理，上述一对边缘点使用相互相同的极面ES生成，并且由与基准轮廓线的相互相同的部位对应的第一边缘点EP和第二边缘点EP组成。另外，如果从多个第一边缘点EP和多个第二边缘点EP中选择如下一对边缘点EP，则对应点选择部17的处理不限于图13的步骤S17的处理，其中上述一对边缘点EP由第一边缘点EP和根据该第一边缘点EP求出的第二边缘点EP组成，且与基准轮廓线的相互相同的部位对应。
根据本发明，选择与对象物的基准轮廓线的相互相同部位对应的一对边缘点，所以即使在存在多个与极线相交的边缘线的情况下，也能够使一对边缘点彼此良好地对应，从而高精度地测量对象物的三维轮廓线形状。
以上的说明只是一例，只要不损害本发明的特征，不通过上述实施方式和变形例限定本发明。上述实施方式和变形例的结构要素中包括一边维持发明的同一性一边能够置换且置换明确的要素。即，关于在本发明的技术思想范围内考虑的其他方式也包括在本发明的范围内。另外，也能够任意地组合上述实施方式和变形例的一个或者多个。

Claims (13)

1.一种轮廓线测量装置，其特征在于，具备：
第一照相机和第二照相机，其拍摄对象物分别取得第一对象物图像和第二对象物图像；
极面生成部，其根据上述第一照相机和上述第二照相机的位置姿势，生成与上述对象物交叉的多个极面；
极线计算部，其计算将上述多个极面投影到上述第一照相机的拍摄面以及上述第二照相机的拍摄面上的多个极线；
基准轮廓线设定部，其设定上述对象物的三维的基准轮廓线；
基准轮廓线图像计算部，其分别计算将上述基准轮廓线投影到上述第一照相机的拍摄面和上述第二照相机的拍摄面上的第一基准轮廓线图像和第二基准轮廓线图像；
边缘线抽出部，其在上述第一基准轮廓线图像的附近设定第一图像处理区域，从该第一图像处理区域内的上述第一对象物图像抽出上述对象物的轮廓线的图像即第一边缘线，另一方面，在上述第二基准轮廓线图像的附近设定第二图像处理区域，从该第二图像处理区域内的上述第二对象物图像中抽出上述对象物的轮廓线的图像即第二边缘线；
边缘点生成部，其分别生成上述第一边缘线和上述多个极线的交点即多个第一边缘点以及上述第二边缘线和上述多个极线的交点即多个第二边缘点；
对应点选择部，其从上述多个第一边缘点和上述多个第二边缘点中选择一对边缘点，该一对边缘点由使用相互相同的上述极面生成的，并且与上述基准轮廓线的相互相同部位对应的第一边缘点和第二边缘点组成；以及
三维点计算部，其根据经过上述一对边缘点的上述第一照相机的视线和上述第二照相机的视线，计算上述对象物的轮廓线上的三维点。
2.一种轮廓线测量装置，其特征在于，具备：
第一照相机和第二照相机，其拍摄对象物分别取得第一对象物图像和第二对象物图像；
基准轮廓线设定部，其设定上述对象物的三维的基准轮廓线；
基准轮廓线图像计算部，其分别计算将上述基准轮廓线分别投影到上述第一照相机的拍摄面和上述第二照相机的拍摄面上的第一基准轮廓线图像和第二基准轮廓线图像；
边缘线抽出部，其在上述第一基准轮廓线图像的附近设定第一图像处理区域，从该第一图像处理区域内的上述第一对象物图像中抽出上述对象物的轮廓线的图像即第一边缘线，另一方面，在上述第二基准轮廓线图像的附近设定第二图像处理区域，从该第二图像处理区域内的上述第二对象物图像中抽出上述对象物的轮廓线的图像即第二边缘线；
第一边缘点生成部，其在上述第一边缘线上生成多个第一边缘点；
极面生成部，其根据上述第一照相机和上述第二照相机的位置姿势，生成分别经过上述多个第一边缘点的多个极面；
极线计算部，其计算将上述多个极面投影到上述第二照相机的拍摄面上的多个极线；
第二边缘点生成部，其生成上述多个极线和上述第二边缘线的交点即多个第二边缘点；
对应点选择部，其从上述多个第一边缘点和上述多个第二边缘点中选择一对边缘点，该一对边缘点由第一边缘点和从该第一边缘点求出的第二边缘点组成，并且与上述基准轮廓线的相互相同部位对应；以及
三维点计算部，其根据经过上述一对边缘点的上述第一照相机的视线和上述第二照相机的视线，计算上述对象物的轮廓线上的三维点。
3.根据权利要求1或2所述的轮廓线测量装置，其特征在于，
还具备测量上述对象物的位置姿势的位置姿势测量部，
上述基准轮廓线设定部根据通过上述位置姿势测量部测量的上述对象物的位置姿势变更上述基准轮廓线的位置姿势。
4.根据权利要求1或2所述的轮廓线测量装置，其特征在于，
上述对应点选择部求出上述多个极面分别与上述基准轮廓线的所有交点，在针对一个极面存在多个该交点的情况下，分割该极面使得针对该极面的该交点成为一个，从与该分割后的极面对应的边缘点中选择与相互相同部位对应的一对边缘点。
5.根据权利要求1或2所述的轮廓线测量装置，其特征在于，
上述对应点选择部针对上述多个第一边缘点分别计算与该第一边缘点对应的上述第一基准轮廓线图像上的最近点，并且计算经过该最近点的上述第一照相机的视线与上述基准轮廓线的交点来作为第一投影原始点，另一方面，针对上述多个第二边缘点分别计算与该第二边缘点对应的上述第二基准轮廓线图像上的最近点，并且计算经过该最近点的上述第二照相机的视线与上述基准轮廓线的交点作为第二投影原始点，并且根据上述第一投影原始点和上述第二投影原始点的位置关系，选择上述一对边缘点。
6.根据权利要求5所述的轮廓线测量装置，其特征在于，
上述对应点选择部将上述第一边缘线的斜率与该第一边缘线所对应的上述最近点的上述第一基准轮廓线图像的斜率之间的差以及上述第二边缘线的斜率与该第二边缘线所对应的上述最近点的上述第二基准轮廓线图像的斜率之间的差比预定角度小作为条件，选择上述一对边缘点。
7.根据权利要求1或2所述的轮廓线测量装置，其特征在于，
上述第一基准轮廓线图像和上述第二基准轮廓线图像分别包含上述第一基准轮廓线图像附近以及上述第二基准轮廓线图像附近的图像的明暗信息，
上述边缘线抽出部抽出上述第一边缘线附近和上述第二边缘线附近的图像的明暗的方向与根据上述明暗信息得到的上述第一基准轮廓线图像的附近和上述第二基准轮廓线图像的附近的明暗的方向一致的第一边缘线和第二边缘线。
8.一种机器人系统，其具备：
机器人；
控制该机器人的机器人控制部；以及
权利要求1～7中的任意一项所述的轮廓线测量装置，
该机器人系统的特征在于，
在上述机器人的机械臂前端部安装构成上述轮廓线测量装置的第一照相机和第二照相机，或者通过上述机器人的机械臂前端部抓持由上述第一照相机和上述第二照相机拍摄的对象物。
9.根据权利要求8所述的机器人系统，其特征在于，
还具备计算上述机器人的机械臂前端部的目标位置的拍摄位置计算部，
上述机器人控制部将上述机器人的机械臂前端部向上述目标位置移动，
上述第一照相机和上述第二照相机在上述机器人的机械臂前端部移动到上述目标位置的状态下，拍摄上述对象物。
10.根据权利要求9所述的机器人系统，其特征在于，
上述拍摄位置计算部计算多个上述目标位置，以便通过上述第一照相机和上述第二照相机分多次拍摄上述对象物，
上述机器人控制部将上述机器人的机械臂前端部依次向上述多个目标位置移动，
上述第一照相机和上述第二照相机在每次上述机器人的机械臂前端部移动到上述多个目标位置时，拍摄上述对象物。
11.根据权利要求9或10所述的机器人系统，其特征在于，
还具备评价上述机器人的机械臂前端部的目标位置的有效性的评价部，
上述评价部假设上述机器人的机械臂前端部向上述目标位置进行了移动，分别计算在该目标位置将上述对象物的基准轮廓线投影到上述第一照相机的拍摄面和上述第二照相机的拍摄面上的第一基准轮廓线图像和第二基准轮廓线图像，并且分别计算上述第一基准轮廓线图像和上述极线的交点的交叉角度以及上述第二基准轮廓线图像和上述极线的交点的交叉角度，如果所有的上述交点的上述交叉角度比预定角度大，则评价为上述目标位置有效，
上述机器人控制部将上述机器人的机械臂前端部向通过上述评价部评价为有效的上述目标位置移动。
12.根据权利要求11所述的机器人系统，其特征在于，
当通过上述评价部评价为上述目标位置不是有效时，上述拍摄位置计算部计算使上述交叉角度变大的新的目标位置。
13.根据权利要求8～10中的任意一项所述的机器人系统，其特征在于，
上述第一照相机和上述第二照相机由单一的照相机构成，
上述机器人控制部移动上述机器人的机械臂前端部，以便在上述单一的照相机和上述对象物的相对位置姿势不同的位置姿势下取得上述第一对象物图像和上述第二对象物图像。
CN201510599190.8A 2014-09-18 2015-09-18 轮廓线测量装置以及机器人系统 Active CN105444691B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014190182A JP5911934B2 (ja) 2014-09-18 2014-09-18 輪郭線計測装置およびロボットシステム
JP2014-190182 2014-09-18

Publications (2)

Publication Number Publication Date
CN105444691A CN105444691A (zh) 2016-03-30
CN105444691B true CN105444691B (zh) 2017-05-24

Family

ID=55444855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510599190.8A Active CN105444691B (zh) 2014-09-18 2015-09-18 轮廓线测量装置以及机器人系统

Country Status (4)

Country Link
US (1) US9672630B2 (zh)
JP (1) JP5911934B2 (zh)
CN (1) CN105444691B (zh)
DE (1) DE102015011914B4 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
US9445081B1 (en) * 2015-09-25 2016-09-13 Intel Corporation Method and system of 3D image capture with dynamic cameras
US10003786B2 (en) 2015-09-25 2018-06-19 Intel Corporation Method and system of 3D image capture with dynamic cameras
JP6088679B1 (ja) * 2016-02-19 2017-03-01 ファナック株式会社 カメラの画像により故障を判定するロボットシステムの故障診断装置
DE102016005699B3 (de) * 2016-05-12 2017-05-18 Carl Zeiss Automated Inspection GmbH Verfahren zum Kalibrieren einer Messvorrichtung zur Vermessung von Karosserieteilen und anderen Werkstücken sowie zur Durchführung des Verfahrens geeignete Messvorrichtung
CN107442973B (zh) * 2016-05-30 2020-06-16 上海气焊机厂有限公司 基于机器视觉的焊道定位方法及装置
JP6721211B2 (ja) * 2016-06-02 2020-07-08 ヤマハファインテック株式会社 位置決め装置及び穿孔装置
DE102016112197B4 (de) * 2016-07-04 2018-05-24 Asm Assembly Systems Gmbh & Co. Kg Verfahren und Vorrichtung zum stereoskopischen Bestimmen von einer Information bezüglich der Höhenlage der Vorderseite eines Anschlusses
CN106441148A (zh) * 2016-08-31 2017-02-22 成都铁安科技有限责任公司 固定方法、固定机架与火车车轮外形测量系统
JP6858878B2 (ja) * 2017-02-28 2021-04-14 クオリティー ヴィジョン インターナショナル インコーポレイテッドＱｕａｌｉｔｙ Ｖｉｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ， Ｉｎｃ． ３ｄモデルの試験対象物への自動アライメント
CN110402190B (zh) * 2017-03-23 2022-12-06 株式会社富士 机器人系统
CN107144236A (zh) * 2017-05-25 2017-09-08 西安交通大学苏州研究院 一种机器人自动扫描仪及扫描方法
JP2019084609A (ja) * 2017-11-06 2019-06-06 セイコーエプソン株式会社 ロボット制御装置、ロボットおよびロボットシステム
TWI645157B (zh) * 2017-11-24 2018-12-21 國立高雄應用科技大學 工件輪廓的光學量測系統及量測方法
CN108133477A (zh) * 2017-12-29 2018-06-08 深圳市越疆科技有限公司 一种物体检测方法及智能机械臂
JP7240115B2 (ja) * 2018-08-31 2023-03-15 キヤノン株式会社 情報処理装置及びその方法及びコンピュータプログラム
JP6836561B2 (ja) * 2018-09-20 2021-03-03 ファナック株式会社 画像処理装置及び画像処理方法
JP6871220B2 (ja) 2018-11-08 2021-05-12 ファナック株式会社 制御システム
JP7318377B2 (ja) * 2019-07-10 2023-08-01 株式会社Soken 物体検知装置
JP7396872B2 (ja) * 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
EP4131173A4 (en) * 2020-03-30 2023-11-08 Panasonic Intellectual Property Management Co., Ltd. IMAGING INSTRUCTION METHOD, IMAGING METHOD, IMAGING INSTRUCTION APPARATUS AND IMAGING APPARATUS
JP2021160360A (ja) * 2020-03-31 2021-10-11 株式会社ユーシン精機 金型及びアタッチメントの法線ベクトルの推定方法及びシステム
CN113340230A (zh) * 2021-04-26 2021-09-03 西安交通大学 一种升降式的多视角三维轮廓测量系统及工作方法
CN114229396B (zh) * 2022-02-18 2022-05-13 深圳市创新特科技有限公司 电路板取放位置校正装置及校正方法
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183133A (ja) * 1999-12-22 2001-07-06 Sony Corp ３次元形状計測装置および方法、並びに記録媒体
CN1483999A (zh) * 2003-08-15 2004-03-24 清华大学 测量物体三维表面轮廊的方法及系统
JP2012042396A (ja) * 2010-08-20 2012-03-01 Canon Inc 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2012202732A (ja) * 2011-03-24 2012-10-22 Dainippon Screen Mfg Co Ltd ３次元位置・姿勢認識装置、３次元位置・姿勢認識方法、３次元位置・姿勢認識プログラム
JP5093653B2 (ja) * 2007-06-21 2012-12-12 株式会社ニコン 測距装置およびその測距方法
CN103075973A (zh) * 2012-12-31 2013-05-01 吉林大学 车身缝隙尺寸非接触在线检测方法
CN103999125A (zh) * 2011-12-22 2014-08-20 佳能株式会社 三维测量方法、三维测量程序和机器人设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5713624B2 (ja) 2009-11-12 2015-05-07 キヤノン株式会社 三次元計測方法
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
JP5845212B2 (ja) 2013-06-28 2016-01-20 ファナック株式会社 視覚センサ及び力センサを備えたバリ取り装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183133A (ja) * 1999-12-22 2001-07-06 Sony Corp ３次元形状計測装置および方法、並びに記録媒体
CN1483999A (zh) * 2003-08-15 2004-03-24 清华大学 测量物体三维表面轮廊的方法及系统
JP5093653B2 (ja) * 2007-06-21 2012-12-12 株式会社ニコン 測距装置およびその測距方法
JP2012042396A (ja) * 2010-08-20 2012-03-01 Canon Inc 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2012202732A (ja) * 2011-03-24 2012-10-22 Dainippon Screen Mfg Co Ltd ３次元位置・姿勢認識装置、３次元位置・姿勢認識方法、３次元位置・姿勢認識プログラム
CN103999125A (zh) * 2011-12-22 2014-08-20 佳能株式会社 三维测量方法、三维测量程序和机器人设备
CN103075973A (zh) * 2012-12-31 2013-05-01 吉林大学 车身缝隙尺寸非接触在线检测方法

Also Published As

Publication number Publication date
CN105444691A (zh) 2016-03-30
US20160086343A1 (en) 2016-03-24
DE102015011914A1 (de) 2016-03-24
DE102015011914B4 (de) 2022-02-03
US9672630B2 (en) 2017-06-06
JP5911934B2 (ja) 2016-04-27
JP2016061687A (ja) 2016-04-25

Similar Documents

Publication Publication Date Title
CN105444691B (zh) 轮廓线测量装置以及机器人系统
US11657595B1 (en) Detecting and locating actors in scenes based on degraded or supersaturated depth data
CN110801180B (zh) 清洁机器人的运行方法及装置
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
Murray et al. Using real-time stereo vision for mobile robot navigation
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
JP4226550B2 (ja) 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
CN107144236A (zh) 一种机器人自动扫描仪及扫描方法
WO2011162388A1 (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
CN108965690A (zh) 图像处理系统、图像处理装置及计算机可读存储介质
Alexiadis et al. Real-time, realistic full-body 3D reconstruction and texture mapping from multiple Kinects
CN104567727A (zh) 立体靶标及对线结构光轮廓传感器的全局统一校准方法
JP6946087B2 (ja) 情報処理装置及びその制御方法、並びに、プログラム
CN103398669A (zh) 一种用于测量自由曲面的多轴联动视觉检测方法和设备
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN105867611A (zh) 虚拟现实系统中的空间定位方法、装置及系统
JP2020509370A5 (zh)
JP6009206B2 (ja) ３次元計測装置
CN111640156A (zh) 针对室外弱纹理目标的三维重建方法、设备及存储设备
WO2019091118A1 (en) Robotic 3d scanning systems and scanning methods
Blais et al. Recent developments in 3D multi-modal laser imaging applied to cultural heritage
CN104297896B (zh) 一种对焦方法及电子设备
CN110080326A (zh) 一种卸料方法、控制器、挖掘机、电子设备及存储介质
CN209231985U (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant