CN105091760B - 距离传感器的配置评价装置 - Google Patents

距离传感器的配置评价装置 Download PDF

Info

Publication number
CN105091760B
CN105091760B CN201510236723.6A CN201510236723A CN105091760B CN 105091760 B CN105091760 B CN 105091760B CN 201510236723 A CN201510236723 A CN 201510236723A CN 105091760 B CN105091760 B CN 105091760B
Authority
CN
China
Prior art keywords
model
mentioned
configuration
sensor
intersection point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510236723.6A
Other languages
English (en)
Other versions
CN105091760A (zh
Inventor
近江达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN105091760A publication Critical patent/CN105091760A/zh
Application granted granted Critical
Publication of CN105091760B publication Critical patent/CN105091760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

提供一种距离传感器的配置评价装置，该距离传感器的配置评价装置具备：物品配置部，其配置物品模型；传感器配置部，其配置传感器模型；第一平面群生成部，其生成多个第一平面，该多个第一平面包括将虚拟平面分割的分割线；第二平面群生成部，其利用来自投影仪模型的条纹状的图案光的边界面生成多个第二平面；交线计算部，其计算第一平面与第二平面的交线；以及交点个数计算部，其对交线与物品模型的表面的交点的个数进行计数。

Description

距离传感器的配置评价装置
技术领域
本发明涉及一种通过仿真来评价距离传感器(range sensor)所配置的位置的距离传感器的配置评价装置。
背景技术
距离传感器(测距传感器)是在获取三维空间中的物品的大范围的位置信息时使用的。已知如下一种装置：使用该距离传感器来获取在三维空间中散装的物品的位置信息，基于该位置信息识别物品的位置和姿势，通过机器人取出所识别出的物品(例如参照日本特开2013-101045号公报)。在日本特开2013-101045号公报中记载了由两台照相机和一台投影仪构成距离传感器的内容。
然而，以往是基于作业人员的经验等来决定在三维空间中配置距离传感器的位置的，从而难以将距离传感器配置在最佳位置。
发明内容
本发明的一个方式是距离传感器的配置评价装置，通过仿真来评价距离传感器所配置的位置，该距离传感器具有一对照相机和投影条纹状的图案光的投影仪，上述距离传感器的配置评价装置具备：物品配置部，其将与被散装的多个物品对应的物品模型配置在三维的虚拟空间内的规定区域；传感器配置部，其以测量范围包含规定区域的方式将与距离传感器对应的传感器模型配置在虚拟空间内，该传感器模型包括与一对照相机对应的一对照相机模型以及与投影仪对应的投影仪模型；第一平面群生成部，其生成多个第一平面，该多个第一平面包括将与一对照相机模型相对的规定区域内的虚拟平面等间隔地分割的多个分割线以及从一对照相机模型向各个分割线延伸的照相机视线；第二平面群生成部，其利用假定从投影仪模型向虚拟平面投影了条纹状的图案光时的图案光的边界面生成多个第二平面；交线计算部，其计算多个第一平面与多个第二平面相交得到的多个交线；以及交点个数计算部，其对多个交线与同一对照相机模型相面对的物品模型的表面的交点的个数进行计数。
附图说明
本发明的目的、特征以及优点通过结合附图进行的以下的实施方式的说明会变得更加明确。在该附图中，
图1是表示本发明的第一实施方式所涉及的距离传感器的配置评价装置中使用的仿真模型的图，
图2是表示本发明的第一实施方式所涉及的距离传感器的配置评价装置的结构的框图，
图3A和图3B是说明图2的物品配置部中的处理的图，
图4A和图4B是表示传感器模型的配置的一例的图，
图5是说明图2的第一平面群生成部中的处理的图，
图6是说明图2的第二平面群生成部中的处理的图，
图7A和图7B是说明图2的交线计算部中的处理的图，
图8是说明图2的交点个数计算部中的处理的图，
图9是说明图2的交点个数计算部中的处理的图，
图10A和图10B是说明图2的交点个数计算部中的处理的图，
图11是表示由图2的运算部执行的处理的一例的流程图，
图12是表示本发明的第二实施方式所涉及的距离传感器的配置评价装置的结构的框图，
图13是表示本发明的第二实施方式中的距离传感器的配置范围的图，
图14是表示由图12的运算部执行的处理的一例的流程图。
具体实施方式
(第一实施方式)
下面，参照图1～图11来说明本发明的第一实施方式。第一实施方式所涉及的距离传感器的配置评价装置通过仿真来评价三维空间中的距离传感器所配置的位置是否合适。距离传感器是在通过机器人取出被散装的物品的情况下为了获取物品的位置信息而使用的。
图1是概要性地表示作为由配置评价装置进行的仿真的对象的仿真模型的整体结构的图。如图1所示，仿真模型包括将机器人9模型化而得到的机器人模型1、将物品20(工件)模型化而得到的物品模型2、将收容部30模型化而得到的收容部模型3以及将距离传感器40模型化而得到的传感器模型4。在具有正交3轴(XYZ轴)的坐标系的虚拟空间内定义这些仿真模型(机器人模型1、物品模型2、收容部模型3以及传感器模型4)的形状。即，仿真模型为虚拟空间内的三维模型，以规定姿势配置在虚拟空间内的规定位置。
机器人9为多关节型机器人，在臂前端部具有能够把持物品的把持部9a。收容部30例如为上表面敞开的容器，具有在XY平面上延伸设置的底壁部30a和从底壁部30a的周缘部沿Z轴方向向上方延伸设置的侧壁部30b。物品20以散装的状态收容在收容部30内，呈彼此相同的长方体形状。
距离传感器40为具有两台照相机41和一台投影仪42的测距传感器，这些照相机41和投影仪42分别被模型化为照相机模型5和投影仪模型6。照相机41是具有CCD(ChargeCoupled Device：电荷耦合器件)传感器、CMOS(Compl ementary Metal OxideSemiconductor：互补金属氧化物半导体)传感器等摄像元件的数字视频照相机(摄像机)或者数字静态照相机，被配置在收容部30的上方，拍摄物品20的表面。投影仪42被配置在收容部30的上方，向两台照相机41的视野内投影条纹状的图案光。基于该图案光在物品20的表面设定多个测量点，由两台照相机41获取测量点的三维位置信息、即X坐标值、Y坐标值以及Z坐标值。
图2是表示本发明的第一实施方式所涉及的配置评价装置100的结构的框图。如图2所示，配置评价装置100具有输入部101、输出部102以及运算部10。输入部101用于输入仿真所需的各种指令，由键盘等构成。输出部102用于显示仿真结果，由显示器等构成。运算部10由包括具有CPU(Central Processing Unit：中央处理器)、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)、其它外围电路等的运算处理装置的计算机构成，作为功能性结构具有物品配置部11、传感器配置部12、障碍物配置部13、第一平面群生成部14、第二平面群生成部15、交线计算部16、交点个数计算部17以及配置评价部18。
物品配置部11将多个物品模型2以散装状态配置在收容部模型3内。图3A和图3B是说明物品配置部11中的处理的图。首先，物品配置部11将用户经由输入部101创建的规定形状的一个或者多个三维物品模型2如图3A所示那样忽视重力地配置在虚拟空间内。接着，物品配置部11如图3B所示那样对物品模型2附加重力，使物品模型2落到收容部模型3内。此时，在物品模型2与收容部模型3的干扰点(图3B的点a)以及物品模型2与其它物品模型2的干扰点(图3B的点b)处限制物品模型2的位置，由此决定物品模型2的散装状态下的位置和姿势。
参照图1，传感器配置部12将传感器模型4(照相机模型5和投影仪模型6)配置在收容部模型3的上方。传感器模型4的测量范围根据传感器模型4相对于被散装的物品模型2的位置而变化。优选的是，该测量范围包括收容部模型3的全部区域，将其称为必要测量范围。在本实施方式中，以必要测量范围纳入两台照相机模型5的视野内和投影仪模型6的投影范围内的方式配置传感器模型4。即，以收容部模型3的全部区域包含在测量范围内的方式配置传感器模型4。由此，能够测量被配置在收容部模型3内的全部的物品模型2的位置。
图4A和图4B是表示传感器模型4的配置的一例的图。特别是，图4A表示立体图，图4B表示俯视图。在图4A和图4B中，投影仪模型6被配置在收容部模型3的中央部上方，一对照相机模型5相互对称地配置在投影仪模型6的两侧，并且投影仪模型6与一对照相机5被配置在与X轴平行的直线上。如图4A所示，当以包含收容部模型3的全部区域的方式定义与XY平面平行的虚拟平面7时，投影仪模型6在虚拟平面7上的投影范围包含收容部模型3内的XY区域的全部区域，并且该投影范围与照相机模型5的视野范围一致。此外，只要必要测量范围包含在两台照相机模型5的视野内和投影仪模型6的投影范围内，则视野范围与投影范围也可以不一致，也可以是视野范围与投影范围的一部分重叠。虚拟平面7例如被设定于在收容部模型3内配置的最上部的物品模型2的上表面附近(参照图8)。也可以将虚拟平面7与XY平面平行地设定在收容部模型3的底面或者距底面的规定高度处。
障碍物配置部13配置将成为由距离传感器40进行的位置测量的障碍的障碍物模型化而得到的障碍物模型。即，如果在距离传感器40与同距离传感器40相面对的物品20之间存在障碍物，则无法通过距离传感器40进行位置测量。考虑这一点来配置障碍物模型。在图1中，机器人模型1和收容部模型3相当于障碍物模型。
第一平面群生成部14基于照相机模型5所配置的位置来生成将视野范围等间隔地分割的多个第一平面。图5是说明第一平面群生成部14中的处理的图。如图5所示，首先，第一平面群生成部14设定与将一对照相机模型5的焦点连接的直线32平行地将与一对照相机模型5相对的虚拟平面7按规定间隔ΔY等间隔地进行分割的多个分割线33，该多个分割线33与X轴平行。此时，将由直线32和各分割线33得到的多个平面分别定义为第一平面31，将多个第一平面31称作第一平面群。各第一平面31包含从一对照相机模型5向各分割线33延伸的照相机视线。
第二平面群生成部15基于投影仪模型6所配置的位置来生成第二平面34。图6是说明第二平面群生成部15中的处理的图。如图6所示，第二平面34是沿假定从投影仪模型6向虚拟平面7投影了条纹状的图案光时的图案光的边界面而生成的。将生成的多个第二平面34称作第二平面群。图案光在虚拟平面7上沿X轴交替地产生规定宽度的明暗的图案。由第二平面34与虚拟平面7相交得到的边界线35来规定明暗的图案，边界线35的间隔ΔX与第一平面31的分割线33的间隔ΔY相同或者大致相同。
交线计算部16计算多个第一平面31与多个第二平面34相交得到的多个交线。图7A和图7B是说明交线计算部16中的处理的图，特别是，图7A表示第一平面31和第二平面34的立体图，图7B表示俯视图。如图7A所示，第一平面31与第二平面34正交或者大致正交，第一平面31与第二平面34相交得到的交线36从投影仪模型6的光投影部延伸。如图7B所示，在虚拟平面7上，第一平面31的端部的分割线33与第二平面34的端部的边界线35以格子状相交，交线36穿过分割线33与边界线35的交点37。
交点个数计算部17对交线36与物品模型2的表面2a相交得到的交点的个数进行计数。交点相当于距离传感器40对物品表面的测量点，交点的个数越多则所获得的测量点越多。图8～图10B是说明交点个数计算部17中的处理的图。交点个数计算部17首先如图8所示那样求出同传感器模型4相面对的物品模型2的表面2a与交线36的交点(测量点)38。在图8中，交线36穿过虚拟平面7而延伸，交点38位于虚拟平面7的下方。
在此，所谓“同传感器模型4相面对”是指如图9所示那样在用直线分别连接交点38与各照相机模型5的焦点的线段39上不存在其它物品模型2、收容部模型3、机器人模型1的情况。即，如果在线段39上存在其它物品模型2等，则从照相机模型5到交点38的照相机视线被遮挡，照相机41无法识别交点38的位置。因而，在该情况下，物品模型2的表面2a不是同传感器模型4相面对，交点个数计算部17不对该交点38进行计数。换言之，有效的交点38只存在于从照相机模型5出发的照相机视线(线段39)最初穿过的物品模型2的表面2a。交点个数计算部17分别计算这样求出的多个交点38的三维坐标值(XYZ坐标值)。
接着，交点个数计算部17如图10A所示那样基于物品模型2的形状和姿势计算交点38处的与物品模型2的表面2a垂直且从表面2a朝向外侧(传感器模型4侧)的法线向量45。并且，如图10B所示那样判定法线向量45与各线段39所形成的角θ1、θ2是否大于预先决定的角度θa。θa为用于判断是否为有效的交点的阈值，被设定为比90°小的值(例如40°～50°)。即，如果角度θ1、θ2过大，则照相机41无法高精度地识别物品表面的位置。因而，在角度θ1、θ2中的至少一个大于θa的情况下，即使物品模型2的表面2a同传感器模型4相面对，交点个数计算部17也不将该表面2a上的交点38包括在有效的交点38中，不对该交点38进行计数。
配置评价部18基于由交点个数计算部17计数得到的交点38的个数来评价传感器模型4所配置的位置的妥当性。例如，在计数得到的交点38的个数为预先决定的规定数以上的情况下，通过距离传感器40能够测量物品表面的多个三维点，因此判断为传感器模型4所配置的位置妥当。配置评价部18将该判断结果输出到输出部102。由此，作业人员能够决定配置距离传感器40的最佳位置。此外，配置评价部18也可以将由交点个数计算部17计算出的交点38的三维坐标值一并输出到输出部102。由此，用户能够预先通过仿真来预测由距离传感器40得到的物品表面的位置信息。
图11是表示由本发明的第一实施方式所涉及的配置评价装置100的运算部10执行的处理的一例的流程图。该流程图所示的处理是在例如经由输入部101输入仿真开始指令时开始。
在步骤S1中，通过物品配置部11、传感器配置部12以及障碍物配置部13中的处理来在三维虚拟空间配置仿真模型(机器人模型1、物品模型2、收容部模型3、传感器模型4)。在步骤S2中，通过第一平面群生成部14中的处理，如图5所示那样基于照相机模型5所配置的位置来生成多个第一平面31(第一平面群)。在步骤S3中，通过第二平面群生成部15中的处理，如图6所示那样基于投影仪模型6所配置的位置来生成多个第二平面34(第二平面群)。在步骤S4中，通过交线计算部16中的处理，如图7A所示那样计算多个第一平面31与多个第二平面34相交得到的多个交线36。
在步骤S5中，通过交点个数计算部17中的处理，如图8所示那样对交线36与同传感器模型4相面对的物品模型2的表面2a的交点38的个数进行计数，并且计算交点38的三维坐标值。在该情况下，如图10A和图10B所示那样计算将照相机模型5和交点38连接的线段(照相机视线)39与相对于物品模型2的表面2a的法线向量45所形成的角度θ1、θ2，在角度θ1、θ2大于规定角度θa的情况下，不对该交点38进行计数。在步骤S6中，通过配置评价部18中的处理，基于计数得到的交点38的个数，评价传感器模型4所配置的位置的妥当性，结束处理。
根据本发明的第一实施方式能够起到如下的作用效果。
(1)距离传感器的配置评价装置100具备：物品配置部11，其将物品模型2配置在三维的虚拟空间内的规定区域(收容部模型3内)；传感器配置部12，其以测量范围包含规定区域的方式将包括一对照相机模型5和投影仪模型6的传感器模型4配置在虚拟空间内；第一平面群生成部14，其生成多个第一平面31，该多个第一平面31包括将与一对照相机模型5相对的规定区域内的虚拟平面7等间隔地分割的多个分割线33以及将一对照相机模型5的焦点之间连接的直线32；第二平面群生成部15，其利用假定从投影仪模型6向虚拟平面7投影了条纹状的图案光时的图案光的边界面生成多个第二平面34；交线计算部16，其计算多个第一平面31与多个第二平面34的多个交线36；以及交点个数计算部17，其对多个交线36与同一对照相机模型5相面对的物品模型2的表面2a的交点38的个数进行计数。交点38的个数与距离传感器40的测量点的个数对应，由此能够求出配置距离传感器40的最佳位置。
(2)交点个数计算部17将如下交点38视为有效的交点来进行计数：将物品模型2的表面2a上的交点38和一对照相机模型5连接的直线(线段39)与相对于物品模型2的表面2a的从交点38出发的法线向量45所形成的角θ1、θ2为规定角度θa以下的交点38。因而，无法由距离传感器40高精度地测量的物品表面上的位置不包括在交点38的个数中，从而能够通过仿真来良好地评价距离传感器40所配置的位置的妥当性。
(3)配置评价装置100还具有配置包括收容部模型3的障碍物模型的障碍物配置部13，交点个数计算部17对在照相机模型5与交点38之间不存在障碍物模型的交点38的个数进行计数，因此在从照相机模型5到交点38的照相机视线被收容部模型3遮挡的情况下，不对该交点38进行计数，从而能够通过仿真来高精度地评价距离传感器40所配置的位置的妥当性。
(4)配置评价装置100还具备配置评价部18，该配置评价部18基于由交点个数计算部17计数得到的交点38的个数来评价距离传感器40所配置的位置。在该情况下，由于不是根据用户的判断来进行配置距离传感器40的位置的评价，因此能够容易地求出配置距离传感器40的最佳位置。
在该情况下，配置评价部18将针对各个配置图案计数得到的交点38的个数进行合计，基于该合计值来评价距离传感器40所配置的位置即可。例如，合计值越大，则评价为距离传感器40的配置越恰当。这样针对物品模型2的多个配置图案分别求出交点38的个数，基于交点38的个数的合计值来评价距离传感器40所配置的位置，由此能够良好地评价距离传感器40相对于被散装的物品20的配置位置。
(第二实施方式)
参照图12～图14说明本发明的第二实施方式。在第二实施方式中，自动地求出配置距离传感器40的最佳位置。图12是表示本发明的第二实施方式所涉及的配置评价装置100的结构的框图。此外，对与图2相同的部位标注相同的附图标记，在下面主要说明与图2不同的点。
如图12所示，运算部10除了上述的物品配置部11、传感器配置部12、障碍物配置部13、第一平面群生成部14、第二平面群生成部15、交线计算部16、交点个数计算部17以及配置评价部18以外，还具有指定距离传感器40的可配置范围(配置范围AR)的传感器配置范围指定部19。
图13是表示距离传感器40的配置范围AR的图。配置范围AR是能够测量物品20的表面位置的距离传感器40的配置范围，例如用户能够通过输入部101的操作来在收容部30的上方的三维空间中指定该配置范围AR。传感器配置部12在所指定的配置范围AR内变更配置传感器模型4的位置。例如，从图13所示的基准位置向图13的箭头方向每次移动规定量地移动传感器模型4的整体或者一部分(照相机模型5、投影仪模型6)，或者使传感器模型4的倾斜角度每次变化规定量地发生变化，由此变更配置传感器模型4的位置。
图14是表示由第二实施方式所涉及的配置评价装置100的运算部10执行的处理的一例的流程图。此外，对进行与图11相同的处理的部分标注相同的附图标记，在下面主要说明与图11不同的点。在步骤S11中，通过传感器配置范围指定部19中的处理，指定传感器模型4的配置范围AR。在步骤S12中，通过传感器配置部12中的处理，在所指定的配置范围AR内变更传感器模型4的位置或者姿势、即传感器模型4的配置。
在步骤S5中，基于该变更后的传感器模型4的位置或者姿势对交点38的个数进行计数。之后，在步骤S13中，判定是否在配置范围AR内的传感器模型4的所有可配置位置处都已经配置过传感器模型4，即判定传感器模型4的可配置位置是否全部都被选择过。当步骤S13为否定时返回到步骤S12，将传感器模型4的配置变更为未被选择的传感器模型4的位置或者姿势。当步骤S13为肯定时，进入步骤S14，通过配置评价部18中的处理，选择交点38的个数最大的配置传感器模型4的位置，并输出到输出部102。由此，能够求出配置距离传感器40的最佳位置。
这样，在第二实施方式中，传感器配置部12以多个配置图案来配置传感器模型4，交点个数计算部17针对各个配置图案分别对交点38的个数进行计数，配置评价部18输出交点38的个数最多的传感器模型4的配置图案。由此，能够自动地求出配置距离传感器40的最佳位置，从而能够利用距离传感器40对物品表面进行最佳的位置测量。另外，配置评价装置100还具备指定传感器模型4的配置范围AR的传感器配置范围指定部19，传感器配置部12在由传感器配置范围指定部19指定的配置范围内变更传感器模型4的配置图案，因此能够容易且最佳地进行传感器模型4的配置图案的变更。
此外，在上述第一实施方式和第二实施方式中，通过物品配置部11中的处理，将物品模型2以散装状态配置在三维虚拟空间内，在以散装状态配置物品20的情况下，物品20的位置和姿势没有规则性，可考虑各种配置图案。因此，也可以是物品配置部11以多个配置图案来配置物品模型2，交点个数计算部17针对各个配置图案分别对交点的个数进行计数。在以多个配置图案来配置物品模型2的情况下，用户通过输入部101的操作来变更图3A的物品模型2的位置和姿势即可。也可以是物品配置部11按照规定的规则自动地变更图3A的物品模型2的配置图案。
在上述实施方式中，配置评价部18基于由交点个数计算部17计数得到的交点38的个数来判断传感器模型4所配置的位置是否妥当，并将该判断结果输出到输出部102。即，配置评价部18评价传感器模型4所配置的位置，但是也可以省略配置评价部18，而将由交点个数计算部17计数得到的交点38的个数直接输出到输出部102。
根据本发明，使用与距离传感器对应的传感器模型以及与被散装的物品对应的物品模型，通过仿真来对与距离传感器的测量点对应的物品模型表面的交点的个数进行计数，因此能够求出配置距离传感器的最佳位置。
以上的说明只是一个例子，只要不损害本发明的特征，则本发明不被上述实施方式和变形例所限定。上述实施方式和变形例的结构要素中包括维持发明的同一性的同时能够置换和自明地置换的要素。即，在本发明的技术思想的范围内考虑的其它实施方式也包括在本发明的范围内。另外，也能够将上述实施方式和变形例的一个或者多个任意地进行组合。

Claims (6)

1.一种距离传感器的配置位置评价装置，通过仿真来评价距离传感器的配置位置，该距离传感器具有一对照相机和投影条纹状的图案光的投影仪，
上述距离传感器的配置位置评价装置的特征在于，具备：
物品配置部，其将与被散装的多个物品对应的物品模型配置在三维的虚拟空间内的规定区域；
传感器配置部，其以测量范围包含上述规定区域的方式将与上述距离传感器对应的传感器模型配置在上述虚拟空间内，该传感器模型包括与上述一对照相机对应的一对照相机模型以及与上述投影仪对应的投影仪模型；
第一平面群生成部，其生成多个第一平面，该多个第一平面包括将与上述一对照相机模型相对的上述规定区域内的虚拟平面等间隔地分割的多个分割线以及从上述一对照相机模型向各个上述分割线延伸的照相机视线；
第二平面群生成部，其利用假定从上述投影仪模型向上述虚拟平面投影了上述条纹状的图案光时的该图案光的边界面生成多个第二平面；
交线计算部，其计算上述多个第一平面与上述多个第二平面相交得到的多个交线；
交点个数计算部，其对上述多个交线与同上述一对照相机模型相面对的上述物品模型的表面的交点的个数进行计数；以及
配置位置评价部，其基于由上述交点个数计算部计数得到的上述交点的个数来评价上述传感器模型的配置位置。
2.根据权利要求1所述的距离传感器的配置位置评价装置，其特征在于，
上述交点个数计算部对将上述物品模型的表面上的上述交点和上述一对照相机模型连接的直线与穿过上述交点的相对于上述物品模型的表面的法线所形成的角为规定角度以下的交点的个数进行计数。
3.根据权利要求1或2所述的距离传感器的配置位置评价装置，其特征在于，
还具有障碍物配置部，该障碍物配置部配置包括与收容上述物品的收容部对应的收容部模型的障碍物模型，
上述交点个数计算部对在上述照相机模型与上述交点之间不存在上述障碍物模型的交点的个数进行计数。
4.根据权利要求1所述的距离传感器的配置位置评价装置，其特征在于，
上述物品配置部以多个配置图案来配置上述物品模型，
上述交点个数计算部针对各个配置图案分别对上述交点的个数进行计数，
上述配置位置评价部基于将针对各个配置图案计数得到的上述交点的个数进行合计得到的合计值来评价上述传感器模型的配置位置。
5.根据权利要求1或4所述的距离传感器的配置位置评价装置，其特征在于，
上述传感器配置部以多个配置图案来配置上述传感器模型，
上述交点个数计算部针对各个配置图案分别对上述交点的个数进行计数，
上述配置位置评价部输出上述交点的个数最多的上述传感器模型的配置图案。
6.根据权利要求5所述的距离传感器的配置位置评价装置，其特征在于，
还具备传感器配置范围指定部，该传感器配置范围指定部指定上述传感器模型的配置范围，
上述传感器配置部在由上述传感器配置范围指定部指定的配置范围内变更上述传感器模型的配置图案。
CN201510236723.6A 2014-05-12 2015-05-11 距离传感器的配置评价装置 Active CN105091760B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014098802A JP5829306B2 (ja) 2014-05-12 2014-05-12 レンジセンサの配置位置評価装置
JP2014-098802 2014-05-12

Publications (2)

Publication Number Publication Date
CN105091760A CN105091760A (zh) 2015-11-25
CN105091760B true CN105091760B (zh) 2017-01-18

Family

ID=54336725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510236723.6A Active CN105091760B (zh) 2014-05-12 2015-05-11 距离传感器的配置评价装置

Country Status (4)

Country Link
US (1) US9470515B2 (zh)
JP (1) JP5829306B2 (zh)
CN (1) CN105091760B (zh)
DE (1) DE102015106936B4 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5829306B2 (ja) * 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
FR3032364B1 (fr) * 2015-02-11 2017-01-27 Solystic Installation pour la separation et l'individualisation d'objets postaux heterogenes avec un systeme de vision a sources laser
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
EP3260999B1 (de) * 2016-06-24 2021-08-04 Sick Ag System zum simulieren von sensoren
DE102016011718B4 (de) 2016-09-30 2022-12-15 Michael Pauly Verfahren und Vorrichtung zum Bestimmen einer statischen Größe eines Objekts
KR102595391B1 (ko) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
JP6846950B2 (ja) 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144157A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6785687B2 (ja) * 2017-03-03 2020-11-18 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6846949B2 (ja) * 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106909149B (zh) * 2017-03-14 2020-09-22 深圳蓝因机器人科技有限公司 一种深度摄像头避障的方法及装置
CN110892713B (zh) * 2017-07-14 2022-04-15 索尼公司 信息处理装置、信息处理方法和程序
JP2020537242A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 複数の可動センサを含むセンサシステムの校正
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
US10679076B2 (en) * 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
JP6693981B2 (ja) 2018-02-19 2020-05-13 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
KR20200123849A (ko) 2018-03-20 2020-10-30 매직 아이 인코포레이티드 가변 밀도들의 투영 패턴을 사용하는 거리 측정
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
KR20240042157A (ko) 2018-10-30 2024-04-01 무진 아이엔씨 자동화된 패키지 등록 시스템, 디바이스 및 방법
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
JP7376268B2 (ja) * 2019-07-22 2023-11-08 ファナック株式会社 三次元データ生成装置及びロボット制御システム
JP7346133B2 (ja) * 2019-07-29 2023-09-19 株式会社キーエンス ロボット設定装置及びロボット設定方法
CN114730010A (zh) 2019-12-01 2022-07-08 魔眼公司 利用飞行时间信息增强基于三角测量的三维距离测量
EP4094181A4 (en) 2019-12-29 2024-04-03 Magik Eye Inc ASSIGNMENT OF THREE-DIMENSIONAL COORDINATES TO TWO-DIMENSIONAL FEATURE POINTS
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド ３次元カメラの座標系を２次元カメラの入射位置に移動させる方法
CN111324945B (zh) * 2020-01-20 2023-09-26 阿波罗智能技术(北京)有限公司 传感器方案确定方法、装置、设备及存储介质
JP7467268B2 (ja) 2020-07-30 2024-04-15 グローリー株式会社 計数装置、計数システム、計数方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1244250A (zh) * 1997-01-20 2000-02-09 多莫泰克系统技术有限公司 确定箭在靶上命中点的设备
CN101680752A (zh) * 2007-05-25 2010-03-24 丰田自动车株式会社 形状评价方法、形状评价装置及三维检查装置
JP2012063310A (ja) * 2010-09-17 2012-03-29 Mitsubishi Heavy Ind Ltd 欠陥寸法測定装置、欠陥寸法測定方法、及びプログラム
CN103568024A (zh) * 2012-07-31 2014-02-12 发那科株式会社 利用机械手取出散装物品的装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692603B2 (ja) 1994-07-13 1997-12-17 村田機械株式会社 三次元計測方法
JP3930482B2 (ja) * 2004-01-19 2007-06-13 ファナック株式会社 ３次元視覚センサ
US7876455B2 (en) 2004-08-03 2011-01-25 TechnoDream21 Co., Ltd. Three-dimensional shape measuring method and apparatus for the same
JP4153528B2 (ja) 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
JP4238256B2 (ja) 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
US9182221B2 (en) 2011-06-13 2015-11-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
JP6092530B2 (ja) * 2012-06-18 2017-03-08 キヤノン株式会社 画像処理装置、画像処理方法
JP6021533B2 (ja) * 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
JP5829306B2 (ja) * 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1244250A (zh) * 1997-01-20 2000-02-09 多莫泰克系统技术有限公司 确定箭在靶上命中点的设备
CN101680752A (zh) * 2007-05-25 2010-03-24 丰田自动车株式会社 形状评价方法、形状评价装置及三维检查装置
JP2012063310A (ja) * 2010-09-17 2012-03-29 Mitsubishi Heavy Ind Ltd 欠陥寸法測定装置、欠陥寸法測定方法、及びプログラム
CN103568024A (zh) * 2012-07-31 2014-02-12 发那科株式会社 利用机械手取出散装物品的装置

Also Published As

Publication number Publication date
JP5829306B2 (ja) 2015-12-09
US20150323321A1 (en) 2015-11-12
CN105091760A (zh) 2015-11-25
JP2015215259A (ja) 2015-12-03
DE102015106936A1 (de) 2015-11-12
DE102015106936B4 (de) 2020-12-17
US9470515B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
CN105091760B (zh) 距离传感器的配置评价装置
CN104908038B (zh) 对工件的取出工序进行仿真的机器人仿真装置
CN106826809B (zh) 位置姿势测量装置以及机器人系统
CN103568024B (zh) 利用机械手取出散装物品的装置
US20150187091A1 (en) Size measurement device and size measurement method
CN104608150B (zh) 通过机器人取出放置在三维空间中的物品的装置及方法
Kim et al. Garment pattern generation from body scan data
US8255184B2 (en) Programming system for a coordinate measuring machine and method thereof
CN106027962B (zh) 视频监控的覆盖率计算方法及装置、布点方法及系统
CN106709937A (zh) 一种扫地机器人的控制方法
CN108431714B (zh) 用于建立用于可自动行走的处理设备的环境地图的方法
Lee et al. Multi-beam laser probe for measuring position and orientation of freeform surface
CN103797446A (zh) 输入体的动作检测方法以及使用了该方法的输入设备
JPS5844972A (ja) 器具の位置決め方法および装置
CN106041001B (zh) 砂铸型制造系统以及砂铸型制造方法
Bellandi et al. Roboscan: a combined 2D and 3D vision system for improved speed and flexibility in pick-and-place operation
CN100385197C (zh) 便携式无导轨结构光三维扫描测量系统及其测量方法
CN110375712A (zh) 巷道断面提取方法、装置、设备及存储介质
Mikalai et al. Human body measurement with the iPhone 12 Pro LiDAR scanner
CN110170982A (zh) 模拟机器人的动作的模拟装置
JP2021020285A (ja) ロボット設定装置及びロボット設定方法
JP2013228334A (ja) 三次元計測システム及び三次元計測方法及び三次元計測プログラム
TW201349171A (zh) 曲面座標系建立系統及方法
WO2016115536A2 (en) Determining three-dimensional information from projections or placement of two-dimensional patterns
JP2013190249A (ja) 三次元計測システム及び三次元計測方法及び三次元計測プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant