CN105043246A - 探测设备、探测方法和操纵器 - Google Patents

探测设备、探测方法和操纵器 Download PDF

Info

Publication number
CN105043246A
CN105043246A CN201410804610.7A CN201410804610A CN105043246A CN 105043246 A CN105043246 A CN 105043246A CN 201410804610 A CN201410804610 A CN 201410804610A CN 105043246 A CN105043246 A CN 105043246A
Authority
CN
China
Prior art keywords
light beam
plane
beam radiation
image
imaging plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410804610.7A
Other languages
English (en)
Other versions
CN105043246B (zh
Inventor
中畑光明
中畑博志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kikai Sekkei Nakahata KK
Original Assignee
Kikai Sekkei Nakahata KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kikai Sekkei Nakahata KK filed Critical Kikai Sekkei Nakahata KK
Publication of CN105043246A publication Critical patent/CN105043246A/zh
Application granted granted Critical
Publication of CN105043246B publication Critical patent/CN105043246B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

一种探测设备，所述探测设备包括操纵器、成像单元、光束辐射单元和计算单元，所述成像单元和所述光束辐射单元被设置在操纵器上。所述探测设备包括含有所述成像单元的光轴的水平成像平面和含有所述成像单元的光轴的竖直成像平面，并且1)来自所述光束辐射单元的光束在所述水平成像平面上的投影以及2)来自所述光束辐射单元的光束在所述竖直成像平面上的投影分别与所述成像单元的光轴形成一个夹角。

Description

探测设备、探测方法和操纵器
技术领域
本发明涉及一种探测设备和一种用于实时控制包括探测设备的操纵器的操作的方法，所述探测设备包括安装到机器人等的操纵器的光束辐射设备和单眼成像摄像机，所述探测设备探测由摄像机所拍摄的物体的三维位置。
背景技术
近年来，使用由摄像机等成像的用于机器人的工作的图像变得越来越流行。通过使用被成像的图像，工作对象被识别到，或者工作物体的位置和姿势信息被获得以控制机器人的操作。
然而，一般使用复眼摄像机获得物体的三维位置。有时围绕机械手安装摄像机。然而，多数时候，摄像机被安装在机器人外部，安装在机器人主体上或者安装在机器人头部上。
由复眼摄像机所成像的图像能够被制作成伪三维图像。通过选择和固定立体帧以增加图像的深度感来实现上述目的。同时，只要从摄像机到目标平面的距离已知，即使是自前方得到的图像也能够被做成三维图像。通过处理这些图像，执行诸如快速拾取的工作。
工业机器人旨在提高生产率。为此，期望利用工业机器人提高操作速度和精确地重复操作。为了使得机器人工作，需要以固定的方式配送和接收工作物体。然而，有时由于增大的成本，很难把握机械准备位置和物体的姿势以配送给机器人。在此情况下，通过使用被成像的图像而获得诸如物体的姿势和位置的信息以解决该问题。
由摄像机所成像的图像是连续图像。然而，在以上描述的现有技术中，通过分割连续图像中的一个可执行机器人的操作控制。这不能很好地利用作为连续图像的一个特征的时间变化。
连续图像的时间变化与机器人的工作质量有关，包括探测工作物体的拾取失误或者监视工作的完成。工业机器人今后应该解决这些问题。
当使用复眼摄像机时，需要一些复杂的处理，并且需要相当多的分析时间(大约0.4秒)以从二维成像图像中获得三维信息。这是使用连续图像中的一个的原因。然而，通过使用复眼摄像机，通过固定成像框架(摄像机)和识别从摄像机到目标拍摄平面的距离而获得三维信息。
当使用复眼摄像机时，虽然成像框架中存在柔韧性，但是还是需要时间处理。一方面，当使用单眼摄像机时，成像框架被固定，但是需要较少的时间进行处理。这与用于探测至目标拍摄平面的距离的时间有关。
日本专利申请特开No.2011-257267公开了一种用于实时探测从目标拍摄平面到摄像机的焦点的距离以及目标拍摄平面的方向的方法。通过使用安装到机械手的单眼摄像机和三条光束来探测上述距离和方向。然而，很难探测多个装置的布置方式和调整该布置方式以与数学表达式相适应。此外，工作物体的探测和机械手的操作控制是在将来待解决的问题。
发明内容
根据本发明的一个方面，在待连接到成像单元的探测设备中，所述成像单元被设置在具有光束辐射单元的操纵器上，其中，水平成像平面被定义为包括所述成像单元的光轴和定义在所述成像单元的成像平面中的水平x轴线的平面，竖直平面被定义为包括所述光轴和定义在所述成像平面中的竖直y轴线的平面，其中1)来自所述光束辐射单元的光束在所述水平成像平面上的投影以及2)来自所述光束辐射单元的光束在所述竖直成像平面上的投影分别与所述成像单元的光轴形成一个夹角，所述探测设备包括：计算单元，所述计算单元设置为：通过从由所述成像单元所成像的图像中获得光束辐射点在目标拍摄平面的所述成像平面上的位置以及获得光束辐射点在物体上的目标拍摄平面上的位置，计算所述光束辐射单元和与光束辐射方向正交的所述目标拍摄平面之间的距离L，其中，所述计算单元设置为：参考预先形成的关系表达式，获得用于所获得的所述光束辐射点在所述成像平面上的位置的相应的距离L，关系表达式基于如下的数据而形成：3)所述光束辐射点在所述成像平面上的位置(xi，yi)(i＝0，1，2，…N)；4)所述目标拍摄平面和所述光束辐射单元之间的用于所述光束辐射点在所述成像平面上的相应位置(xi，yi)的距离Li的实际测量值，其中，所述计算单元被构造为基于所获得的相应距离L而探测被成像物体的三维位置。
根据本发明的另一方面，一种用于定义投影到目标拍摄平面上或者参照目标拍摄平面上的工作物体的方法，所述方法包括：利用由包括所述物体的被成像图像的矩形局域中的亮度差所提取的元件(或点)来重构所述物体；通过将所述元件组(或点组)的周围分成相等的角度而定义第一轮廓数据(或剖面数据)，所述第一轮廓数据是具有角度和尺寸或者半径的形状数据；为了单位化，计算来自亮度差元件(或亮度差的点)的形状中心的半径的平方和[例如，在以下的实施方式中的sumrθj＝∑(xai2+yai2)(i＝1toNθj,θ＝j)]，并且元件(点)的半径的平方和的平方根[在以下的实施方式中的rθpj＝√(sumrθj)/Σ(√sumrθj)]；并且当被成像时基于从设备安装基面到所述光束辐射点的距离、亮度差的阈值、亮度差元件组(点组)的纵向和横向尺寸、形状中心的位置以及亮度差元件(点)的数量而定义轮廓。
根据本发明的另一方面，一种用于在被成像的图像中探测所述工作物体的方法包括：使用根据本发明的探测单元计算从设备安装基面到光束辐射点的距离；基于所述距离在被记录物体的轮廓中选择最靠近的距离的轮廓和第一轮廓数据；通过执行被记录轮廓的纵向和横向尺寸的距离内插或外插计算而确定搜索单元的尺寸；并且在所选择的被记录第一轮廓数据位于布置在整个图像屏幕上的搜索单元中产生的第一轮廓数据中的情况下，选择具有最小的绝对差总和的搜索单元，其中，通过将物体的中心定义为搜索单元的亮度差元件组(点组)的图片(形状)的中心，指定所述成像平面上的点，并且使用本发明的探测单元，基于由所述操纵器的操作方向定义的在目标拍摄平面上的方向分量以及基于光束辐射方向分量，确定具有光束辐射点为原点的物体的中心的位置。
根据本发明的另一方面，一种用于通过机器人控制器实时地操作操纵器的操作控制方法，其中，根据权利要求1、2或3所述的探测单元被设置在操纵器的端部，并且其中，计算装置和机器人控制器通过LAN被连接，所述方法包括：通过通信从机器人控制器向计算装置输出指令以设置和搜索工作物体；通过计算装置选择工作物体的轮廓和被记录第一轮廓数据以根据权利要求6中所述的方法从被成像图像中探测工作物体的位置；并且通过计算装置向机器人控制器反馈从设备安装基面到工作物体的距离、目标拍摄平面上的位置以及物体的方向。
根据本发明的另一方面，一种用于探测被成像图像中的物体和被记录物体之间的不同的方法，所述方法包括：利用由被成像图像所生成的区域固定轮廓数据以及被记录的区域固定轮廓数据计算绝对差的总和以数字化矩形区域中的改变，这通过固定矩形区域而实现，该矩形区域提取用于产生工作物体的被记录轮廓数据的亮度差元件(或亮度差的点)；并且将被记录轮廓的形状中心固定作为从被成像图像中提取出的亮度差元件(点)的形状中心；并且探测与确定工作质量是否能够接受有关的事务，所述工作质量包括工作之前的工作质量条件、工作进展、工作结束、工作失误的存在与否。
根据本发明的另一方面，一种操作控制方法，在此方法中，带有区域固定轮廓数据的绝对差总和表示矩形区域中的物体的改变量，所述方法包括：通过将物体的改变量定义为物体的位置改变量而探测位置以控制端部感受器的驱动力；并且通过控制动力由机器人控制器来执行工作。
从以下的(参考附图)对示例性实施方式的说明中，本发明的其他特征将变得显而易见。
附图说明
图1是从前方斜着观察到的光学系统的构造图，其中示出了用于探测物体的三维位置的三维位置探测设备的构造。
图2是几何上解释在虚拟成像平面上拍摄到的光束辐射点的位置以及从探测设备安装基面到光束辐射点的距离的图。
图3A是示出物体成像平面上的成像平面，虚拟成像平面和光束辐射点(点S)的几何空间以用于解释已确定的表述。
图3B和3C是用于说明与刻度尺和ΔLi有关的角度α和角度β的图。
图3D是用于说明角度α和角度β之间的关系的图。
图4是用于几何地示出数学处理的图，通过该数学处理物体的图片的中心在参照被拍摄平面上的位置被投影到光束的正交平面。
图5是示出使用本发明的图像处理装置而从被成像图像中产生的工作物体的轮廓数据的示例的图。
图6示出了注册轮廓的距离、元件宽度和元件高度。
图7示出了注册轮廓数据和距离之间的关系。
图8是解释快速操作的图，通过将成像平面分成块并且搜索用于各个物体搜索单元的物体而完成该快速操作。
图9示出了作为本发明的原理的光束辐射装置的立体剖面结构的示例。
图10示出了作为一个实施方式的工作机器人的立体图，该工作机器人在可移动类型的机械臂的臂部的端部处包括本发明的探测设备。
图11示出了作为一个实施方式的工作机器人的立体图，其中，机械臂的一部分被移除，并且安装了探测设备。
具体实施方式
现在，将说明本发明的实施方式。
在本说明书中，使用安装到操纵器的单眼摄像机和与摄像机的光轴成一角度的光束。基于光束辐射点在成像平面上的位置计算从辐射点到设备安装基面的距离。
光束辐射点组在成像平面上的坐标和从设备安装基面到光束辐射点组的距离被预先测量。连接虚拟成像平面上的光束辐射点组的直线在虚拟成像空间中被视为光束，虚拟成像空间定型为四角锥。
光束辐射点和辐射方向被确定为生成表述目标的目标拍摄平面的表达式，该目标拍摄平面包括光束辐射点并且与光束正交。通过计算该表达式得到被投影到目标拍摄平面的成像点的位置。
光束辐射点是成像平面上的一条直线上的成像点，该成像平面与到设备安装基面的距离相关。光束辐射点容易被探测到。通过使用适当的表达式，能够高速地计算距离，这样实现了实时的图像处理。
工作物体被做成轮廓数据或剖面数据(profiledata)。通过如下的操作来实现上述的目的：提取以所成像图像的亮度差作为特征的亮度差元件；通过亮度差元件定义轮廓；将元件组的图片的中心的周围分为相等的角度；并且利用角度区域中的元件(或点)的半径平方之和(sumrθj)的平方根除以所有角度区域之和(Σsumrθj)而进行单位化。
通过压缩原始图像数据形成轮廓数据。轮廓数据允许容易地执行实时处理。同时，通过使用亮度差，轮廓数据不会轻易被环境的亮度所影响。为了获得光束辐射点的亮度差，有时期望环境的亮度较低。按如下方式搜索工作物体。
首先，通过划分整个成像图像和重新组合这些被划分的成像图像而形成搜索单元。然后，创建轮廓数据。将该轮廓数据与待被搜索的工作物体的之前被创建和记录的轮廓数据做比较。在所有搜索单元中选择具有最小的差距并且在允许值之内的轮廓数据。如上所述，搜索到工作物体。工作物体的位置被设定成搜索单元的轮廓的中心。
应指出，通过具有最小的绝对角度之差的角度定义工作物体的方向(旋转)，通过移动被注册工作物体的轮廓数据和将被注册工作物体的轮廓数据与工作物体对比而获得该绝对角度。如果实时处理处于优先地位，那么其精度被限定，这是因为被划分的角度的大小与计算速度反相关。
通过使得搜索的工作物体的轮廓的中心(图片的中心)与成像平面上的成像点的位置相匹配，计算来自光束辐射点的平面位置，从而获得工作物体的三维位置。
在一个实施方式中，操纵器包括安装到操纵器的诸如单眼摄像机等的摄像机和光束辐射装置。计算装置可显示通过计算处理(创建工作物体的轮廓数据；搜索工作物体(包括管理)；计算三维位置)而得到的图像或结果。
包括该设备的操纵器的操作可以由机器人控制器而执行。机器人控制器可通过任意类型的连接，例如LAN连接，无线连接等与探测设备的计算装置互相通信。在一个实施例中，机器人控制器作为主导的，探测设备的计算装置作为从属的。
通过机器人控制器而设置工作物体。然后，将搜索指令通过通信而发给本探测设备的计算装置。已经接收指令的计算装置分析被成像的图像。然后，计算装置返回从光束辐射点到设备安装基面的距离、具有作为原点的光束辐射点的工作物体的中心的平面位置以及物体到机器人控制器的方向。
机器人控制器计算被返回的工作物体的三维位置与端部感受器的作用点等的关系以控制操纵器的操作。
工作物体的三维位置能够被实时更新(例如，100毫秒)。这使得机器人控制器在反馈情况的同时操作操纵器。本设备的成像摄像机被安装到移动的操纵器。为了拍摄能够用于分析的图像，图像应该以允许图像清晰的速度拍摄，或者图像应该以静止的状态被拍摄。
当机器人执行工作时，该机器人有时以低速接近工作物体从而能够利用此机会。或者，需要有意地制造拍摄图像的机会。
本发明将由单眼摄像机成像的二维图像转换成三维图像。通过添加光束辐射而实现上述目的。工作物体的图像然后被压缩成轮廓数据。因此，提供了一种能够简化和低成本地实时分析三维图像的系统。
传统地，在工业机器人中，通过固定成像摄像机(通过将成像摄像机安装到机器人的主体的外部或主体上)或者通过半固定成像摄像机(通过将摄像机安装到转动或摆动的机器人头部)而使用图像分析系统。然而，本发明的成像摄像机是新颖的探测设备，在该探测设备中，成像摄像机被安装到移动的操纵器，并且能够实时探测到工作物体的距离、工作物体的位置或方向(旋转)。
通过将本发明的探测设备应用到机器人的操作，能够提供一种新的机器人工作方式，在该方式中，操纵器和工作物体的相对距离(或位置)被测量，并且在向物体施加端部感受器的同时探测方向。
这在机器人示教的过程中很普遍。可以认为本发明有助于节省迄今为止需要很多工作的工作物体的工作和确定性。同时，可以认为使用连续图像的时间改变(temporalchange)有助于解决传统上很难处理的端部感受器上产生的不确定性。
不确定性包括通过监视端部感受器和工作物体的相对位置而确定物体是否被成功地保持，通过比较与物体的参考图像的不同之处而确定物体是否很好地对齐，以及通过探测不同之处的前进而确定工作前进的角度或状态。
以下将基于附图说明用于实现本发明的实施方式。图1是从前方倾斜地观察到的光学系统的构造图，在该图中，示出了包括用于探测物体的三维位置的三维位置探测设备的操纵器的构造。图2是示出在虚拟成像平面上拍摄到的光束辐射点的位置以及从探测设备安装基面到光束辐射点的距离的图。图3A是示出成像平面的几何尺寸、虚拟成像平面的几何尺寸和光束辐射点以解释已建立的表达式的图。图3B和3C是用于说明与刻度和ΔLi有关的角度α和角度β的图。图3D是用于说明fβ，角度α和角度β之间的关系的图。图4是用于几何上示出数学处理的图，其中，通过该数学处理，物体在参照被拍摄平面上的形状中心位置被投影在光束的正交表面上。注意到图1和图4中的虚拟成像平面2b上的光束辐射点S’最初与目标拍摄平面上的光束辐射点S相匹配。然而，为了更好地理解，这些点被有意地分开。
图1和3A中的操纵器由光束辐射装置1和成像摄像机2组成，两者被框架3固定。当辐射自光束辐射装置1的光束被投影在由X轴和成像摄像机的光轴LC(在图1和图3A中，该光轴LC也示出为与X轴和Y轴垂直的Z轴)所限定的水平成像平面上时，由被投影光束和光轴LC而形成角度α。如图3B和3C所示，当辐射自光束辐射装置1的光束被投影在由Y轴和光轴LC所限定的竖直成像平面上时，由被投影光束和光轴LC而形成角度β。然而，光束不是必须直接与成像摄像机的光轴LC直接相交。成像摄像机的目标拍摄平面4和光束的相交由光束辐射点S示出。从成像摄像机的目标拍摄平面4到探测设备安装基面BP的距离由L限定，该探测设备安装基面BP与光束辐射方向矢量正交。计算装置6包括一些如下的主要功能。工作物体5的图像被投影在目标拍摄平面4上，该图像被压缩为轮廓数据或剖面数据(profiledata)。从成像平面2a的按亮度差划分的元件组(或点组)的形状中心的坐标来计算摄像机的虚拟成像平面2b的坐标。在光束辐射点在目标拍摄平面上的坐标为原点(0，0)的情况下，基于光束辐射点在摄像机的虚拟成像平面2b上的坐标(Xi，Yi)计算工作物体的中心的平面位置(DXn，DYn)。计算装置6通过通信来接收来自机器人控制器7的输出指令。然后，计算装置6通过通信向机器人控制器输出三维位置信息和工作物体的方向θ。图9示出了光束辐射装置1的实施方式。光束辐射装置1由光束辐射模块1c、内部筒体1b、外部筒体1a、弹性保持构件1d和减光板1f和保持件1g组成。光束由光束辐射模块1c产生。例如，用于激光打印机的模块能够用于光束辐射模块。通过被固定到框架3的外部筒体1a而将光束辐射模块1c固定地设置在由弹性保持构件1d而支撑的内部筒体1b的内侧。外部筒体1a包括能够精细地调整光束辐射方向的方向调整螺栓1e。被用于提高安全性和防止成像平面被烧毁的减光板1f被附接到内部筒体的边缘。减光板包括用于确定光束的尺寸的孔1g。
期望成像摄像机2是如下的摄像机：该摄像机(例如，通过USB终端而连接的WEB摄像机)使用CCD成像元件等作为成像平面2a并且能够向计算装置输入成像信号，并且具有自动对焦功能，该自动对焦功能允许清楚地捕捉靠近摄像机或远离摄像机的物体。
微型计算机能够被用作计算装置6。被用作计算装置6的微型计算机具有显示器(图像显示装置)以及用于连接到诸如USB终端等的I/O接口，并且能够与外部设备通信。同时，微型计算机在CPU(中央处理单元)上基于储存在ROM等中的程序在使用RAM等的同时执行计算处理。
机器人控制器7是用于操作操纵器的且通常被附接到该操纵器的装置。机器人控制器7需要包括计算装置和用于与计算装置6通信的通信功能。通过与计算装置6的通信，指令被给出，结果被接收并且接收到的结果被反应给操作。
图2是几何地解释用于探测从光束辐射装置安装基面BP到目标拍摄平面4的距离的机制的图，这是本发明的原理。通过焦点o以及成像摄像机2的成像平面2a而形成一个四角锥。通过焦点o以及成像摄像机2的虚拟成像平面2b而形成其他的四角锥。这些四角锥是类似的。从光束辐射装置1的探测设备安装基面BP到目标拍摄平面4的距离由距离L表示。该光束与目标拍摄平面4相交在光束辐射点S上。通常地，成像平面2a使用细小的矩形成像元件的像素单元的坐标，其中在该矩形成像单元中，成像屏幕的右向和向下的方向分别被定义为xsc轴线和ysc轴线，并且成像屏幕的左上部被定义为原点(0，0)。相同的定义适用于具有mm单位的真实尺寸的虚拟成像平面，在该虚拟成像平面中，虚拟成像平面的右向和向下的方向被分别定义为xsc轴线和ysc轴线。光束辐射点S在虚拟成像平面2b上的坐标被定义为(Xscs，Yscs)。光束辐射点S在成像平面2a上的坐标被定义为(xscs，yscs)。
作为示例，光束辐射点的距离被分为等间隔的L1至L7。连接各个辐射点和成像摄像机的焦点o的直线被扩大和缩小以形成与虚拟成像平面2b相交的交点组。该交点组然后被布置在一条直线上。用于该直线的表达式如下被定义在成像平面2a上：
yscs＝ysc0+a0*xscs
其中，ysc0表示直线在ysc轴上的截距值。a0表示直线的倾斜度的常数，该常数显示成像摄像机围绕光轴从x轴旋转角度tan-1a0。使用被真实成像的图像能够获得ysc0和a0。
虚拟成像平面2b上的光束辐射点的坐标Xscs与角度α有关，该角度α通过将带有光束辐射方向矢量nb的光束投射到水平成像平面上而形成，该水平成像平面由成像摄像机的光轴LC和水平x轴线而限定。像素单元的成像平面上的坐标值xscs和距离L具有很强的对数关系。使用真实成像的图像能够形成适当的表达式。适当的表达式的示例如下：
L＝10f(xscs)，其中f(xscs)＝∑bi*xscsi(i＝0to4)
在一个实施方式中，当距离L是从100mm至500mm的长度时，适当的精度误差是最大0.86mm并且平均为0.26mm。较高级次的适当表达式提高了精度。
光束辐射方向与探测设备安装基面BP正交。这保证了光束辐射点在平行于安装基面而移动的平面中的位置是固定不变的。
距离L可以被如下计算。在成像平面2a和光束辐射点所存在于的直线上搜索光束辐射点。当发现光束辐射点时，获得光束辐射点的坐标(xscs，yscs)。获得的坐标值xscs被带入上述适当的表达式中。然后，距离L能够被计算出。注意到通过设定用于左右上下像素的红色亮度差的阈值和中心像素的最大亮度可以稳定地发现红光束的光辐射点。
这里，如图3所示，为了推导光束辐射点S的关系表达式，与成像摄像机的光轴LC相交的新坐标被引入到成像平面2a，该坐标被定义为成像平面的xy坐标。成像平面的宽和高分别被定义为w像素和h像素。在该情况下，x轴与xsc轴具有如下的关系：
x＝xsc-w/2
同时，y轴与ysc轴具有如下的关系：
y＝ysc-h/2
z轴被定义为摄像机的光轴方向。基于上述内容，包括成像平面2a的四角锥的高度通过(像素的)焦距f而定义。成像平面被如下定义：
z＝f
类似地，XY坐标能够被引入到与成像平面具有类似的关系的虚拟成像平面2b。
参考图3B-3D，用于描述虚拟成像空间(四角锥)中的光束的三个值被引入并且被如下定义。三个值是角度α、角度β和距离H0。光束被投射直线和摄像机的光轴而形成角度α。通过将光束投射到包括摄像机的光轴LC的水平成像平面而获得光束被投射直线。光束被投射直线和摄像机的光轴而形成角度β。通过将光束投射到包括摄像机的光轴LC的竖直成像平面而获得光束被投射直线。距离(高度)H0是从包括摄像机的光轴的竖直成像平面与光束的交点SY的焦点o的距离。这里，光束辐射点S位于虚拟成像平面2b上。从光束辐射点S到探测设备安装基面BP的距离被定义为L。光束辐射点S的坐标被定义为(Xi，Yi)。在摄像机的成像空间中，连接被投射在水平成像平面上的光束的被投射直线的z轴截距和x轴截距的直线被定义为Lih。在此情况下，连接XY坐标的原点和光轴上的z轴截距的直线被如下定义：
Lih*cosα
然后可建立如下的表达式：
Xi＝Lih*sinα
同时，交点SY和水平平面之间的距离被定义为Y0。然后可建立如下的表达式:
Yi＝Y0+Lih*cosα*tanβ
同时，在光束辐射点的线性表达式被建立如下：
yi+h/2＝ysc0+a0*(xi+w/2)
这里，在x1＝0的情况下，表达式建立如下：
y0＝ysc0+(a0*w+h)/2
从光束辐射点S到交点SY的光束的长度被如下定义：
Li＝Lih*√{1+(cosα*tanβ)2}
从焦点到虚拟成像平面的距离被定义为Hi。
然后，可建立如下的表达式：
H0＝Hi-Lih*cosα
从探测设备安装基面BP到交点SY的距离能够被如下定义：
L0＝L-Li
另一方面，采用距离L＝10(xi)"，可得到如下的表达式：
L0＝10f(0)
使用真实成像的图像能够获得角度α和角度β。以下示出了如何获得这些角度，如图3B所示，为了测量角度α，带有刻度的直线刻度尺被放置在与光束正交的且与x轴线平行的目标拍摄平面4上。然后，使得成像平面目标拍摄平面从探测设备安装基面BP平行地移动距离ΔLi。
通过目标拍摄平面的移动，获得刻度读取值的变化量，该变化量被定义为Δmx(X＝0)。然后，如图3b所示，建立如下的表达式。
tanα＝(Δmx/ΔLi)/fβ，其中fβ＝√{1+(cosα*tanβ)2}，从而在例如α＝24°和β＝1是，fβ是1.0001。
如上所述，当β值较小时，建立如下的表达式：
tanα＝Δmx/ΔLi
参考图3C，为了测量角度β，刻度尺被放置在与y轴线平行的目标拍摄平面上。然后，目标拍摄平面被平行地移动距离ΔLi，该距离与上述测量角度α时所移动的距离相同。然后，获得刻度读取值的变化量，该变化量被定义为Δmy(Y＝0)。
然后，建立如下的表达式：
tanβ＝{Δmy/(ΔLi*cosα})/fβ
当β值较小时，建立如下的表达式：
tanβ＝Δmy/(ΔLi*cosα)
为了将光束辐射点固定在成像摄像机的虚拟空间中，交点SY的高度H0和摄像机的焦距f需要被识别到。使用以相等间隔而被分成M份的光束辐射点而真实成像的图像来分析交点SY的高度H0和摄像机的焦距f。从被成像的图像中读取光束辐射点在成像平面2a上的坐标(xi，yi)。从探测设备安装基面BP到交点SY的距离的L0已经被如上建立。因此，可定义如下的表达式:
Li＝L-L0
Lih＝Li/fβ
Xi＝Lih*sinα
Hi＝H0+Lih*cosα
如上所述，成像平面2a的成像空间(四角锥)和虚拟成像平面2b的虚拟成像空间是类似的关系，从而可推导出如下的表达式：
xi/f＝Xi/Hi
基于此关系式，获得用于各个光束辐射点的平方残差(Xi/Hi-xi/f)2。假设，辐射点是M个，那么和的平均数的平方根是如下定义：
O(Hi,f)＝√{∑(Xi/Hi-xi/f)2}/√M(i＝1toM)
计算O(Hi，f)以确定最小的Hi(也就是，H0)，从而能够识别到交点SY的高度H0和摄像机的焦距f。交点SY的高度H0和摄像机的焦距f的计算结果有大约4个有效数字以允许获得足够的精度。注意到，如果摄像机的焦距f通过成像摄像机的说明书已知的话，这通过简化计算交点SY的高度H0，能够识别交点SY的高度H0和摄像机的焦距f。
基于光束长度Li的x方向分量，y方向分量和z方向分量，光束辐射方向矢量nb能够被分别如下定义:Lih*sinα；Lih*cosα*tanβ；以及Lih*cosα。
当以单位矢量表达时，上述分量被分别如下表达：
nb(sinα/fβ,cosα*tanβ/fβ,cosα/fβ)
垂直于光束的目标拍摄平面4的法向方向矢量是nb。在焦点被定义为z＝0并且具有虚拟成像平面2b上的x轴和y轴的正交坐标系中，包括在目标拍摄平面上的光束辐射点S的平面被如下的表达式定义：
nbX(X-Xi)+nbY(Y-Yi)+nbZ(Z-Hi)＝0,其中nbX＝sinα/fβ,
nbY＝cosα*tanβ/fβ,以及nbZ＝cosα/fβ。
通过获得交点P，其中该交点P是包括在成像平面2a上的点p(xp，yp)的直线op与目标拍摄平面4的交点，基于工作物体在成像平面上的位置而确定该交点p在目标拍摄平面上的位置。直线op的方向矢量被如下定义：
op(xp/op，yp/op，f/op)，其中op＝√(xp2+yp2+f2)
直线op的表达式如下表示：
X/(xp/op)＝Y/(yp/op)＝Z(f/op)
该表达式被代入到用于包括如上所示的目标拍摄平面上的光束辐射点S的平面的表达式中，其中X＝(xp/op)T，Y＝(yp/op)T，并且Z＝(f/op)T。
然后获得如下的表达式。
T＝nb·oS/nb·op
其中，nb·oS和nb·op表示矢量的内积，该内积通过如下的分量而表示：
nb·oS＝nbx*Xi+nbY*Yi+nbZ*Hi
nb·op＝nbX*xp/op+nbY*yp/op+nbZ*f/op
目标拍摄平面上的点P示出了被投影工作物体的形状中心。可视的光束辐射点S被设置为目标拍摄平面的原点。目标拍摄平面上的坐标轴优选地围绕所述光束而确定。由此，实际上选择操纵器的操作的纵向较便利。这里，作为缺省(初始)设置，成像摄像机的虚拟目标拍摄平面的X轴线和Y轴线被用于确定目标拍摄平面的Xn轴线和Yn轴线。
Xn＝Y×Xnb
Yn＝nb×X这里，×表示矢量的外积，该外积通过如下的分量而表示
Xn＝(nbZ/SX,O,-nbX/SX)
Yn＝(O,nbZ/SY,-nbY/SY)
其中，SX＝√(nbZ2+nbx2)andSY＝√(nbZ2+nbY2)。
连接目标拍摄平面上的点S(Xs，Ys，Zs)和点P(Xp，Yp，Zp)的直线SP的矢量被定义为SP(Xp-Xs，Yp-Ys，Zp-Zs)。然后，各个坐标轴分量由SP的内积、各个坐标轴矢量Xn和Yn以及nb表示。Xn轴线的分量被定义如下：
SP·Xn＝(Xp-Xs)·nbZ/SX-(Zp-Zs)·nbX/SX
Yn轴线的分量被定义如下：
SP·Yn＝(Yp-Ys)·nbZ/SY-(Zp-Zs)·nbY/SY
Zn轴线的分离被定义如下：SP·nb＝0
这是因为矢量SP与矢量nb垂直。
目标拍摄平面不总是与光束垂直。如图4所示，在目标拍摄平面的法向矢量是nr(nrX，nrY，nrZ)的情况下，表示包括光束辐射点S的参照被拍摄平面4a的平面的表达式被定义如下：
nrX(X-Xi)+nrY(Y-Yi)+nrZ(Z-Hi)＝0，其中成像平面2a上的点是q(xq，yq，zq)，虚拟成像平面2b上的点是Q，其中点Q被如下定义：
Tr＝nr·oQ/nr·oq
Xq＝(xq/oq)Tr
Yq＝(yq/oq)Tr
Zq＝(f/oq)Tr
线性矢量SQ连接点S和参照被拍摄平面4a上的点Q。对于操纵器的操作而言通过光束的正交平面的坐标轴Xn，Yn和Zn的分量来表示线性矢量SQ是便利的。各个坐标轴分量由SQ的内积、各个坐标轴矢量Xn，Yn和nb表示。Xn轴线的分量被如下定义：
SQ·Xn＝(Xq-Xs)·nbZ/SX-(Zq-Zs)·nbX/SX
Yn轴线的分量被如下定义：
SQ·Yn＝(Yq-Ys)·nbZ/SY-(Zq-Zs)·nbY/SY
Zn轴线的分量被如下定义：
SQ·nb＝(xq-xs)·nbX+(Yq-Ys)·nbY+(Zq-Zs)·nbZ
这里，参照被拍摄平面4a被当作虚拟成像平面2b。该将具有与焦点相距Hi距离的前视图像提供被成像图像。因此，可能包括基于成像摄像机的探测设备，在该探测设备中，成像摄像机的成像平面被设置成与操纵器的安装基面平行，并且光束辐射方向与成像摄像机的光轴形成角度。
以下将说明使用三维位置探测设备和操纵器而用于获得目标拍摄平面的方向(法线方向)的程序和方法。该程序和方法包括：
(1)通过机器人控制器指示以探测从当前位置到目标拍摄平面的距离；
(2)将距离L0从计算装置6返回到机器人控制器，距离L0是从当前位置到目标拍摄平面的距离；
(3)通过机器人控制器指示机器人执行操作以在X方向上移动X01，然后通过机器人控制器指示机器人以探测从此时的机器人位置到目标拍摄平面的距离；
(4)将距离L01从计算装置6返回到机器人控制器；
(5)通过机器人控制器指示机器人执行操作以在x方向上移动-X01，以在y方向上移动Y01，然后指示机器人以探测此时与目标拍摄平面相距的距离；以及
(6)将距离L02从计算装置6返回到机器人控制器；通过上述的方法，在x操作方向和y操作方向上的倾斜度被控制器的计算装置计算。然后，获得x操作方向上的(L01-L00)/X01的倾斜度和y操作方向上的(L02-l00)/Y01的倾斜度。操作操作器的探测设备安装基面从而消除此种倾斜度，以允许获得与目标拍摄平面平行的姿势。此外，在一个实施方式中，探测设备的倾斜探测精度比1/100小。
以下将说明用于在探测设备中记录机器人操作方向的程序和方法。该程序和方法包括：
(1)将诸如盘的物体放置在目标拍摄平面上，并且调整探测设备的安装基面，从而获得与目标拍摄平面平行的姿势；
(2)将物体的被成像图像的形状中心(x00，y00)储存在探测设备中；
(3)将物体在x机器人操作方向上移动X02；并且
(4)将形状中心(X01，Y01)储存在探测设备中。
通过如上的方法，获得x机器人操作方向矢量(x01-x00，y01-y00)。适用于机器人坐标系的正z方向被设定为前侧。然后，在逆时针方向上旋转90°的方向形成机器人操作方向Y。然后，注意到，Y方向和Z方向是在机器人坐标系统中和成像摄像机坐标系统中是彼此相反的，这应当注意。
以下将说明用于从被成像图像中提取出工作物体以创建轮廓(剖面)和轮廓数据(剖面数据)的方法。成像平面包括水平方向(xsc轴线)上和竖直方向(ysc轴线)上的像素。例如，该尺寸被表示为(800x600)。彩色图像的三个主要光颜色(红，绿，蓝)具有各自的亮度值。在该实施方式中，然而，使用黑白亮度值(灰度)。然后，在水平方向的行中选择三个像素并且比较3个像素中的最右边像素和最左边像素之间的亮度差。如果获取自3个像素的差在阈值Br之上，则3个像素被确定为亮度差元件(或者基于亮度差的点)。类似地，在竖直方向的一行中的三个像素之间，搜索3个像素中的最上面像素和最下面像素之间的亮度差位于阈值Br之上的像素。确定为具有阈值Br之上的亮度差的3个像素被确定为亮度差元件(或者基于亮度差的点)。然后，亮度差元件(或者基于亮度差的点)被储存在成像平面的坐标中。
工作物体的被成像图像的一部分被切割成矩形。在竖直方向上连续搜索水平亮度差元件(或者基于亮度差的点)，并且在水平方向上搜索每三个像素。此外，在水平方向上连续搜索水平亮度差元件(或者基于亮度差的点)，并且在竖直方向上搜索每三个像素。
因为通过搜索已经找到了亮度差元件(或者基于亮度差的点)，所以该亮度差元件(或者基于亮度差的点)的坐标值被分别储存。元件Ne的总数量被储存为物体的轮廓(剖面)。这里，使用三个像素的两个边缘之间的亮度差存在一些原因。一个原因是三个像素的两个边缘之间的相同亮度差包括比相邻像素更多数量的元件(点)，这使得更加容易拍摄物体。另一个原因是与执行每两个像素的搜索相比执行每三个像素的搜素增加了1.5倍的搜索速度。
应当注意，在一个实施方式中，当阈值是从16至40时，亮度差阈值Br与元件Ne的总数量具有反比例关系。然而，元件的数量在阈值是50以上时加速减少。然而，越高的阈值获取被成像图像的特征，该特征不代表整个被成像图像。期望作为轮廓(或剖面)的阈值表示整个图像并且具有较少量的元件。表1示出了一个实施方式。
表1
Br 16 24 32 40 50 64 80
Ne 2，168 1，591 1，195 902 583 271 78
Br*Ne 34，688 38，184 38，240 36，080 29，150 17，344 6，240
当搜索亮度差元件(或者基于亮度差的点)时，元件的水平坐标(xsci)和竖直坐标(ysci)分别同时增加。基于在搜索结束时元件Ne的总数量，得到如下的表达式：
xscc＝∑xsci/Ne(i＝1toNe)
yscc＝∑ysci/Ne(i＝1toNe)
被成像图像的轮廓(剖面)如下被生成：
首先，形状中心的周围以相等的角度被分成J份。然后，根据形状中心的相对坐标(xai，yai)，将亮度差元件设置成等分的相应角度区域。此后，对由角度区域数量θ表示的每个区域，计算元件的总数量NθJ和平均半径rθj。这些数量被如下的表达式表示：
xai＝xsci-xscc
yai＝ysci-yscc
θ＝fθ(xai，yai)
sumrθj＝∑(xai2+yai2)(i＝1toNθj,θ＝j)
rθj＝√(sumθj/Nθj)
这里，为了减少计算时间，在坐标(xai，yai)处，角度区域数量θ被预先说明的模板被提供以用于读取角度θ。因此，通过在坐标(xai，yai)处读取角度θ可获得fθ(xai，yai)。
半径平均值rθj准确地表示形状。为了描述作为轮廓数据rθpj，作为角度区域中的平方之和的sumrθj的平方根除以其总和∑√sumrθ从而单位化(数据的总数量是1)以表示所获得的百分比(％)结果。上述的描述被以下的表示式表示：
rθpj＝{√sumrθj/(∑√sumrθj)}*100(j＝1toJ)
然后，将解释上述的特征。对于相同的物体，轮廓数据(或剖面数据)被设定为rθp以及rθpj。在此情况下，获得rθp和基本(记录)轮廓数据之间的绝对差的总和，以及rθpj和基本(记录)轮廓数据之间的绝对差的总和。当比较相应的最优值时，绝对差的总和在rθp的情况下为20％以上，在rθpj的情况下为大约10％。带有任意图像的轮廓数据的绝缘差的总和是20％以上。通过将轮廓数据设定为rθpj，完成物体的身份确定。
绝对差的总和在工作物体单独成像的轮廓数据rθpj和工作物体与一些背景图像一起成像的轮廓数据之间有时变大(恶化)。在此情况下，有时很难确定轮廓数据是：1)用于成像工作物体的数据或者2)用于成像非物体区域的轮廓数据。
然而，在该实施方式中，通过使用相同的角度区域的各个元件半径rθji和平均半径rθmj之间的平均绝对差以计算元件半径的分布值Δrθj能够确定数据的类型。通过获得分布值Δrθj，可以确定值是否接近(或者远离)单独被成像的物体的分布值。因此，分布值Δrθj被添加到轮廓数据，该轮廓数据被表示如下：
rθji＝√(xai2+yai2)(θ＝j)
rθmj＝(∑rθji)/Nθj(i＝1toNθj)
Δrθj＝(∑|rθji-rθmj|)/rθmj/Nθj(i＝1toNθj)
如果通过将Δrθj的值与参考值相比，轮廓数据rθpj显示较大的恶化，可以确定只有当角度区域的一部分不同时才是工作物体。实际上，在任选的图像中，即使当接近轮廓数据rθpj时，Δrθj也存在很大的不同。图5示出了轮廓数据rθpj的一个实施方式。该水平亮度差元件(或点)被表示为“-”。
竖直亮度差元件(或点)被表示为“|”。它们表示物体的轮廓。形状中心被表示为“+”。形状中心周围被分成由“o”表示的36片，以表示平均半径rθj。平均半径rθj位于轮廓上并且准确地表示形状。轮廓数据rθpj由双圆表示。明显地，轮廓数据rθpj形成了特征形状。在该示例中，轮廓的一部分丢失。因此，为了获取整个物体，有必要降低亮度差的阈值，同时增加亮度差元件的数量。一些的数据示出了该示例的轮廓：
距离：143mm
亮度差：48
亮度差元件(或点)数量：772
元件宽度：93像素
元件高度：253像素
为了基于物体的尺寸和形状而从整个图像屏幕中找到工作物体，确定物体是否是工作物体。这里，物体的尺寸与物体的距离相关。物体的形状与元件(或点)的数量相关，元件的数量与亮度差阈值相关。在本实施方式中，基于如上所述的被成像的图像而立即找到距离。因此，通过记录轮廓数据和与距离相关的轮廓并且将它们与提取自搜索单元的作为被成像物体的一部分的数据相比较可轻易地发现物体。
作为一个实施方式，表2示出了物体距离，亮度差(LD)和元件(或点)的数量。图6示出了距离和尺寸。图7示出了距离和轮廓数据rθpj。一旦探测到了工作物体的距离，从图6中选择近似距离的纵向尺寸和横向尺寸。执行距离内插或外插而计算物体的尺寸由此确定被成像物体的尺寸。注意到物体的方向是未知的，从而与高度和宽度作比较，较大的值被定义为物体的尺寸。
表2
物体距离(mm) 亮度差 元件(或点)数量
169 56 1，142
237 64 898
310 64 1，001
400 64 643
479 72 452
现在参考如图7所示的被用作比较基准的轮廓数据，无论距离如何，从距离237到距离479的绝对差的总和小于几个百分数(％)。距离169的轮廓数据的一部分缺失，并且该距离下的形状与其他距离下的形状稍稍不同，存在改进的空间。然而，绝对差的总和是大约10％，该比例可作为有效的记录数据。注意到如图5所示的轮廓数据与如图7所示的数据无关。此外，图7中的尺寸示出了轮廓数据rθpj的值。
这里，将描述从整个图像屏幕的图像中搜索物体的过程和方法。
过程和方法包括：(1)记录物体；(2)探测从被成像图像到目标拍摄平面的距离L；(3)选择近距离的记录数据rθpjT；(4)确定搜索单元的尺寸；(5)设置搜索亮度值元件(或点)的数量，例如，数量设定为记录元件(或点)数量的0.85倍至1.2倍；(6)将搜索单元设置在整个图像屏幕中；(7)计算搜索单元中的亮度差元件(或点)的数量；(8)如果亮度差元件(或点)的数量位于元件(或点)的设定数量之内，创建轮廓数据rθpjS；(9)计算使得绝对差的总和∑|rθpjS-rθpjT|最小的相；(10)以绝对差的总和的升序排列搜索单元；(11)如果例如绝对差的最小总和小于20％，那么确定为搜索物体；以及(12)如果绝对差的最小总和大于20％，那么计算轮廓数据的分布值ΔrθjS以确定对或错。
为了允许探测设备实时操作，如何在图片屏幕中排列搜索单元以用于快速搜索是很重要的。图8示出了该排列的一个方法。在该示例中，完整的屏幕800x600像素被分成24x24的像素块。这里，块位置被定义为(bw，bh)。块数量被定义为k，且块的特征值定义为Bxk。例如，特征值是亮度差元件(或点)的数量。水平方向被分为33块，其被如下表示：
k＝33bh+bw
搜索单元的水平和竖直部分中的块的数量被定义为Mb。然后，水平部分中的总数量，sumWBxk被如下表述：
sumWBxK＝∑Bxk(k＝ktok+Mb-1)
因为竖直部分被定义为k，k+33，k+33x2，……，k+33(Mb-1)，搜索单元的特征值之和sumBxK可被表示如下：
sumBxk＝∑sumWBxn(m＝0toMb-1,n＝k+33m)
上述的方法将相邻的特征值添加到已经计算的值和从已经计算的值中减去相邻的特征值可进行循序计算，可允许进行高速算法操作。以下将描述细节。在搜索单元的水平部分中，sumWBxK被表示为sumWBx(k)。
然后右边的相邻部分被如下表示为
sumWBx(k+1)＝sumWBx(k)+Bx(k+Mb)-Bx(k)
通过顺序地计算右边的相邻部分，而计算整个水平部分。相同的处理方法被应用到计算下方的水平部分。然后，计算所有行中的水平部分的总和sumWBx(k)。在搜索单元的竖直部分中，sumBxk被表示为sumBx(k)。直接靠下的部分被如下表示：
sumBx(k+33)＝sumBx(k)+sumWBx(k+33Mb)-sumWBx(k)
通过顺序地计算直接靠下的部分，而计算整个竖直部分。相同的处理方法被应用到右边相邻的竖直部分的计算中。然后，计算所有行中的竖直部分的总和sumBx(k)。
通过创建被记录的轮廓数据，在被成像图像中的应该注意到的形状的矩形区域和其中心可以被设定。通过计算被记录轮廓数据和被成像图像轮廓数据的绝对差之和∑|RθpjS-RθpjT|，可监视到在该区域中发生的事件。所计算的绝对差总和表示工作进展的值。或者，通过向最终形状给定一数值，可完整地探测工作物体。因此，可以提高包括监视机器人工作进展和确定物体在工作之前的姿势是好还是坏在内的机器人工作质量的管理。
这里轮廓数据Rθpj被特征rθpj所替代，并且使用正确地表示形状的平均半径rθj。固定区域的轮廓数据被定义为Rθpj。然后，定义如下的表达式：
Rθpj＝rθj
上述的方法适用于端部感受器的驱动机构的位置探测传感器，从而开始或停止指令能够输出到驱动机构。这使得能够进行如下的工作：使用设备同时通过人来执行视觉确认。图10和图11示出了本发明的实施方式。在图10中，示出了可移动机械臂的立体图，该可移动机械臂包括用于探测物体的三维位置的三维位置探测设备。在图11中，示出了立体图，在该图中，去掉了机械臂的一部分。
可移动机械臂包括机械臂，其被设置在可移动运输车9a的前部中心处并且包括本发明的用于探测物体的三维位置的三维位置探测设备。独立转动的驱动轮9b被设置在可移动运输车的右后侧和左后侧。柔性脚轮被设置在可移动运输车的右前下侧和左前下侧从而可移动机械臂能够在任选的二维方向上向前和向后移动。盖子9c被设置在可移动机械臂的后部中心。盖9c是设备空间，在该空间中，储存有作为电源的电池、机器人控制器、用于根据本发明的探测设备的计算装置、LAN通信设备或其他控制器。储存重物的空间即负重空间9e被设置在可移动运输车9a的中心、左侧和右侧。在负重空间9e的后侧和两端，设置有运输车盖9d以防止重物打破倒塌。机械臂能够从地面或者从可移动运输车的前方的两侧拾取物体以将被拾取的物体储存在负重空间中。
可移动运输车以两种模式操作。一种模式是驱动模式，另一种模式是接近模式。通过驱动模式，探测和跟踪被成像物体的标记或标志。当物体位于机械臂的操作范围之外时，通过接近模式，机械臂接近物体从而使得物体位于机械臂的操作范围之内。为了以两种方式操纵可移动运输车，独立旋转的左右两侧驱动轮被控制。
一种里程计功能总是被设置在可移动运输车上。长距离驱动累计了很多错误，从而在重要的点处检查位置是很必要的。用于探测物体的三维位置的三维位置探测设备可以被用于检查位置。
机械臂是带有6个轴的多致动机器人，这六个轴是肩平摆-肩俯仰-肘俯仰-腕平摆-腕俯仰-腕滚动。腕的三个轴线是彼此正交的。三维位置探测设备试图调整任何方向上的辐射方向。通过将框架3的安装基板平面粘合到具有5个自由度的腕滚轴的驱动机构8h的后表面，然后将腕滚轴设置成与光束辐射方向平行可实现上述的功能。通过获得从被探测物体到端部感受器的作用点的相应距离和以及本发明的探测设备的平面位置和方向的数据可控制该臂。
机械臂包括：臂基座8a的凸缘上的肩平摆驱动机构8b；在肩平摆驱动机构的输出端的L型肩平摆体8c；在肩平摆体的端部的肩俯仰驱动机构8d；在肩俯仰驱动机构的输出端的叉型肩俯仰体8e；在肩俯仰体的叉形的一侧的肘俯仰驱动机构81；位于肘俯仰驱动机构的输出端的肘俯仰体8f；位于肘俯仰体中的腕俯仰驱动机构；在腕俯仰驱动机制的输出端的偏离型腕平摆体8g；位于腕平摆体的端部的腕俯仰驱动机构8k；在腕俯仰驱动机构的输出端的L型腕俯仰体8j；在腕俯仰体的一侧的腕滚动驱动机构8h；在腕滚动驱动机构的输出端的机械手(端部感受器)8i。
此外，在该实施方式中，小于80w的电机被用于包括驱动轮在内的整个驱动机构的电力供给，考虑到机器人与人体并存。
根据本发明的可移动机械臂被设置成采摘草莓。可移动机械臂沿着田埂前进以基于被成像的图像寻找在田埂左右两侧的草莓。然后，被找到的草莓的三维位置和方向被探测。图片侧的中心的图像数据是通过被探测物体的亮度差元件(基于亮度差的点)而进行的颜色柱状图分析以确定成熟度。然后，三维位置和方向被输出到机器人控制器。使用端部感受器的水果采摘装置，机器人控制器接收和采摘草莓。然后，机器人控制器将草莓储存到负重空间。可以想到不限于采摘草莓，可移动机械臂可用于采摘果树。
虽然传统的工业机器人被用在固定的(设定的)操作环境中，但是可移动机械臂可根据环境而工作。该操作需要实时地探测工作物体的相对距离和物体的位置关系和方向，从而在传统的技术中，大尺寸的设备是不可避免的。然而，在使用根据本发明的探测设备的基础上，该设备被大大地简化了。
工业适用性
本发明的探测设备不替代传统的用于工业机器人的被成像图像的处理。然而，本发明能够是端部感受器的不确定性的解决方案(工作失误的探测，监视工作)。
对被成像图像的形状中心区域的轮廓数据的时间改变的监视已经被固定从而能够将探测设备用作装配到端部感受器的位置传感器和控制驱动力。此外，使用该设备同时由人执行视觉确认能够保证工作质量。
本发明适于在传统的技术中很难处理的需要大尺寸设备或者环境感性工作的可移动机械臂的工作。可期望进行多种应用。例如，可以确定被构造为使得无线LAN被用在危险的环境中，工作人员远程地实时以各个角度观察被成像的图像，图像中的目标物体被工作人员指定，端部感受器自动地作用在目标物体上。
本发明要求2014年5月1日提交的日本专利申请No.2014-094540的优先权，其内容通过引用纳入此文。

Claims (7)

1.一种被连接到成像单元的探测设备，所述成像单元被设置在具有光束辐射单元的操纵器上，其中，水平成像平面被定义为包括所述成像单元的光轴和定义在所述成像单元的成像平面中的水平x轴线的平面，竖直平面被定义为包括所述光轴和定义在所述成像平面中的竖直y轴线的平面，其中1)来自所述光束辐射单元的光束在所述水平成像平面上的投影以及2)来自所述光束辐射单元的光束在所述竖直成像平面上的投影分别与所述成像单元的光轴形成一个夹角，所述探测设备包括：
计算单元，所述计算单元设置为：通过从由所述成像单元所成像的图像中获得光束辐射点在目标拍摄平面的所述成像平面上的位置以及获得光束辐射点在物体上的目标拍摄平面上的位置，计算所述光束辐射单元和与光束辐射方向正交的所述目标拍摄平面之间的距离L，
其中，所述计算单元设置为：参考预先形成的关系表达式，获得用于所获得的所述光束辐射点在所述成像平面上的位置的相应的距离L，关系表达式基于如下的数据而形成：
3)所述光束辐射点在所述成像平面上的位置(xi，yi)(i＝0，1，2，…N)；以及
4)所述目标拍摄平面和所述光束辐射单元之间的用于所述光束辐射点在所述成像平面上的相应位置(xi，yi)的距离Li的实际测量值，
其中，所述计算单元被构造为基于所获得的相应距离L而探测被成像物体的三维位置。
2.根据权利要求1所述的探测设备，其中，所述计算单元基于所述的相应的距离L获得所述光束辐射点和手坐标点之间的相对距离，其中所述手坐标点是设置所述探测设备的接合点的坐标并且基于上述操纵器的运动学而被获得。
3.根据权利要求1所述的探测设备，其中，参考多项式对数近似值，L＝10f(x)(f(x)＝Σbn*xn(n＝0到N))或者L＝10f(y)(f(y)＝Σcn*yn(n＝0到N))，所述计算单元获得与在所述成像平面上的所述光束辐射点的所获得的位置相对应的距离L，其中x和y分别表示在所述成像平面上的所述光束辐射点的所获得的x坐标和y坐标。
4.根据权利要求1所述的探测设备，其中，
通过表示由作为原点的光束辐射点S和法线的方向定义的平面的表达式，计算具有法线的所述目标拍摄平面上的位置，
其中，所述成像平面上的点p被投影在所述目标拍摄平面上作为点P，
其中，在所述光束辐射点S作为原点的情况下，所述目标拍摄平面上的位置P的坐标被如下获得：
计算矢量SP与所述目标拍摄平面上的由所述成像单元的所述成像平面的水平x轴线和竖直y轴线定义的方向分量Xn，Yn的内积；以及
计算所述矢量SP与所述目标拍摄平面上的由所述操纵器的操作方向定义的方向分量的内积。
5.根据权利要求4所述的探测设备，其中，所述成像平面上的点q被投影在作为具有任意的法线方向的目标拍摄平面的参照目标拍摄平面上，其中，在所述光束辐射点S作为原点的情况下，基于所述目标拍摄平面上的由所述操纵器的操作方向定义的方向分量并且还基于矢量SQ与所述光束辐射方向分量的内积的计算结果，所述计算单元获得投影点Q的位置。
6.一种由探测设备执行的探测方法，所述探测设备被连接到成像单元而用于从由所述成像单元成像的图像中探测被成像物体的三维位置，所述成像单元被设置在具有光束辐射单元的操纵器上，其中，
水平成像平面被定义为包括所述成像单元的光轴和定义在所述成像单元的成像平面中的x轴线的平面，竖直平面被定义为包括所述光轴和定义在所述成像平面中的x轴线的平面，
其中，所述光束辐射单元和所述成像单元被设置在所述操纵器上，从而
1)来自所述光束辐射单元的光束在所述水平成像平面上的投影以及2)来自所述光束辐射单元的光束在所述竖直成像平面上的投影分别与所述成像单元的光轴形成一个夹角，
所述探测方法包括：
从由所述成像单元所成像的图像中获得光束辐射点在物体被成像平面的所述成像平面上的位置以及获得光束辐射点在物体上的目标拍摄平面上的位置，
参考预先形成的关系表达式，获得用于所获得的所述光束辐射点在所述成像平面上的位置的相应的距离L，关系表达式基于如下的数据而形成：
3)所述光束辐射点在所述成像平面上的位置(xi，yi)(i＝0，1，2，…N)；以及
4)所述目标拍摄平面和所述光束辐射单元之间的用于所述光束辐射点在所述成像平面上的相应位置(xi，yi)的距离Li的实际测量值；以及
基于所获得的相应距离L而探测被成像物体的三维位置。
7.一种具有探测设备的操作器，所述探测设备具有计算单元，所述操纵器包括：
设置在所述操纵器上的光束辐射单元和成像单元，所述成像单元被连接到所述计算单元，
其中，水平成像平面被定义为包括所述成像单元的光轴和定义在所述成像单元的成像平面中的x轴线的平面，竖直平面被定义为包括所述光轴和定义在所述成像平面中的x轴线的平面，
其中，1)来自所述光束辐射单元的光束在所述水平成像平面上的投影以及2)来自所述光束辐射单元的光束在所述竖直成像平面上的投影分别与所述成像单元的光轴形成一个夹角；以及
其中，所述计算单元设置为：通过从由所述成像单元所成像的图像中获得光束辐射点在物体被成像平面的所述成像平面上的位置以及获得光束辐射点在物体上的目标拍摄平面上的位置，计算所述光束辐射单元和与光束辐射方向正交的所述目标拍摄平面之间的距离L；
其中，所述计算单元设置为：参考预先形成的关系表达式，获得用于所获得的所述光束辐射点在所述成像平面上的位置的相应的距离L，关系表达式基于如下的数据而形成：
3)所述光束辐射点在所述成像平面上的位置(xi，yi)(i＝0，1，2，…N)；
4)所述目标拍摄平面和所述光束辐射单元之间的用于所述光束辐射点在所述成像平面上的相应位置(xi，yi)的距离Li的实际测量值，
其中，所述计算单元被构造为基于所获得的相应距离L而探测被成像物体的三维位置。
CN201410804610.7A 2014-05-01 2014-12-19 探测设备、探测方法和操纵器 Expired - Fee Related CN105043246B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-094540 2014-05-01
JP2014094540A JP5736622B1 (ja) 2014-05-01 2014-05-01 検出装置およびこの装置を具えたマニプレータの動作制御

Publications (2)

Publication Number Publication Date
CN105043246A true CN105043246A (zh) 2015-11-11
CN105043246B CN105043246B (zh) 2017-12-05

Family

ID=52396353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410804610.7A Expired - Fee Related CN105043246B (zh) 2014-05-01 2014-12-19 探测设备、探测方法和操纵器

Country Status (5)

Country Link
US (1) US9482754B2 (zh)
EP (1) EP2940422B1 (zh)
JP (1) JP5736622B1 (zh)
KR (1) KR101549103B1 (zh)
CN (1) CN105043246B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105526868A (zh) * 2014-10-16 2016-04-27 株式会社拓普康 位移测定方法和位移测定装置
CN109131428A (zh) * 2017-06-16 2019-01-04 上海铁路局 一种列车扫描检测装置和库检机器人
CN109916341A (zh) * 2019-04-22 2019-06-21 苏州华兴源创科技股份有限公司 一种产品表面水平倾斜角度的测量方法及系统
CN113591300A (zh) * 2021-07-29 2021-11-02 深圳市创想三维科技股份有限公司 3d打印文件的生成方法、装置、计算机设备和存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684239B1 (ko) * 2015-04-24 2016-12-09 한국기계연구원 가공헤드와 공작물의 상대위치 계측 시스템 및 이를 이용한 상대위치 계측 방법
US10215858B1 (en) * 2016-06-30 2019-02-26 Google Llc Detection of rigid shaped objects
CN107883929B (zh) * 2017-09-22 2020-01-31 中冶赛迪技术研究中心有限公司 基于多关节机械臂的单目视觉定位装置及方法
CN109961455B (zh) * 2017-12-22 2022-03-04 杭州萤石软件有限公司 一种目标检测方法及装置
WO2019151238A1 (ja) * 2018-02-02 2019-08-08 株式会社Ihi 座標系統合方法、及び柱状体を備える装置
JP2019177436A (ja) * 2018-03-30 2019-10-17 日本電産株式会社 ロボット制御装置、ロボットの関節の角度を求める方法、プログラム
CN109827524B (zh) * 2019-03-22 2020-12-04 京东方科技集团股份有限公司 光线角度测量装置及显示屏出光的光线角度测量方法
CN110443275B (zh) * 2019-06-28 2022-11-25 炬星科技（深圳）有限公司 去除噪声的方法、设备及存储介质
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
CN115139289B (zh) * 2022-08-09 2023-07-28 哈尔滨工业大学 一种基于视觉的力位融合测量控制装置的测量方法
CN116336964B (zh) * 2023-05-31 2023-09-19 天津宜科自动化股份有限公司 一种物体轮廓信息的获取系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3612144A1 (de) * 1986-04-10 1987-10-15 Ralf Hinkel Verfahren und einrichtung zur bestimmung der greifposition
US4721384A (en) * 1985-01-26 1988-01-26 Deutsche Forschungs- Und Versuchsanstalt Fur Luft- Und Raumfahrt E.V. Optical-electronic rangefinder
JPH04268404A (ja) * 1991-02-22 1992-09-24 Tokai Rika Co Ltd 変位測定装置及び形状測定装置
CN101308018A (zh) * 2008-05-30 2008-11-19 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
DE102007043632A1 (de) * 2007-09-13 2009-04-02 Kuka Roboter Gmbh Entfernungsmessvorrichtung, Industrieroboter mit einer Entfernungsmessvorrichtung und Verfahren zum Vermessen eines Objekts
TW200938345A (en) * 2008-03-04 2009-09-16 Morphic Technologies Ab A robot for seizing objects, a handling system for objects to be handled in an industrial process and a method for seizing objects

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015780A (ja) * 1983-07-08 1985-01-26 Hitachi Ltd ロボット制御装置
JPH08328624A (ja) * 1995-06-06 1996-12-13 Fanuc Ltd センサとロボットとの結合方法及びロボットシステム
DE29918341U1 (de) * 1999-10-18 2001-03-01 Tassakos Charalambos Vorrichtung zur Positionsbestimmung von Meßpunkten eines Meßobjekts relativ zu einem Bezugssystem
JP4282643B2 (ja) * 2005-08-30 2009-06-24 ダイハツ工業株式会社 歪評価装置及び歪評価方法
JP5239100B2 (ja) 2010-06-09 2013-07-17 川田工業株式会社 撮像面位置検出装置およびそれを具える作業ロボット

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4721384A (en) * 1985-01-26 1988-01-26 Deutsche Forschungs- Und Versuchsanstalt Fur Luft- Und Raumfahrt E.V. Optical-electronic rangefinder
DE3612144A1 (de) * 1986-04-10 1987-10-15 Ralf Hinkel Verfahren und einrichtung zur bestimmung der greifposition
JPH04268404A (ja) * 1991-02-22 1992-09-24 Tokai Rika Co Ltd 変位測定装置及び形状測定装置
DE102007043632A1 (de) * 2007-09-13 2009-04-02 Kuka Roboter Gmbh Entfernungsmessvorrichtung, Industrieroboter mit einer Entfernungsmessvorrichtung und Verfahren zum Vermessen eines Objekts
TW200938345A (en) * 2008-03-04 2009-09-16 Morphic Technologies Ab A robot for seizing objects, a handling system for objects to be handled in an industrial process and a method for seizing objects
CN101308018A (zh) * 2008-05-30 2008-11-19 汤一平 基于双目全方位视觉传感器的立体视觉测量装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105526868A (zh) * 2014-10-16 2016-04-27 株式会社拓普康 位移测定方法和位移测定装置
CN109131428A (zh) * 2017-06-16 2019-01-04 上海铁路局 一种列车扫描检测装置和库检机器人
CN109131428B (zh) * 2017-06-16 2023-09-26 上海铁路局 一种列车扫描检测装置和库检机器人
CN109916341A (zh) * 2019-04-22 2019-06-21 苏州华兴源创科技股份有限公司 一种产品表面水平倾斜角度的测量方法及系统
CN109916341B (zh) * 2019-04-22 2020-08-25 苏州华兴源创科技股份有限公司 一种产品表面水平倾斜角度的测量方法及系统
CN113591300A (zh) * 2021-07-29 2021-11-02 深圳市创想三维科技股份有限公司 3d打印文件的生成方法、装置、计算机设备和存储介质
CN113591300B (zh) * 2021-07-29 2024-03-15 深圳市创想三维科技股份有限公司 3d打印文件的生成方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20150316648A1 (en) 2015-11-05
EP2940422A1 (en) 2015-11-04
KR101549103B1 (ko) 2015-09-01
EP2940422B1 (en) 2020-07-22
CN105043246B (zh) 2017-12-05
JP2015212629A (ja) 2015-11-26
US9482754B2 (en) 2016-11-01
JP5736622B1 (ja) 2015-06-17

Similar Documents

Publication Publication Date Title
CN105043246A (zh) 探测设备、探测方法和操纵器
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
CN101419055B (zh) 基于视觉的空间目标位姿测量装置和方法
WO2018108098A1 (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
EP2068280B1 (en) Image Distortion Correction
JP6080407B2 (ja) ３次元計測装置及びロボット装置
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
Zou et al. An end-to-end calibration method for welding robot laser vision systems with deep reinforcement learning
CN110136047B (zh) 一种车载单目图像中静止目标三维信息获取方法
Fanello et al. 3D stereo estimation and fully automated learning of eye-hand coordination in humanoid robots
JP2021192304A (ja) 情報処理装置及びその制御方法、並びに、プログラム
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
Nigro et al. Peg-in-hole using 3D workpiece reconstruction and CNN-based hole detection
CN112518748A (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN111452045B (zh) 一种基于立体视觉的钢筋识别标记系统和方法
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
CN114136219B (zh) 一种基于线结构光的隧道湿喷车喷浆厚度实时检测装置及方法
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN110942083A (zh) 拍摄装置以及拍摄系统
CN114001651A (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
RU139478U1 (ru) Система управления роботизированным объектом
JP3516668B2 (ja) ３次元形状認識方法、装置およびプログラム
CN113479635A (zh) 一种基于ar技术的工程搬运机器人及控制方法
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide
JPH0371043B2 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171205

Termination date: 20211219

CF01 Termination of patent right due to non-payment of annual fee