CN113386122B - 测量参数的优化方法和装置以及计算机可读存储介质 - Google Patents

测量参数的优化方法和装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN113386122B
CN113386122B CN202110187293.9A CN202110187293A CN113386122B CN 113386122 B CN113386122 B CN 113386122B CN 202110187293 A CN202110187293 A CN 202110187293A CN 113386122 B CN113386122 B CN 113386122B
Authority
CN
China
Prior art keywords
data
measurement
measurement parameters
objects
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110187293.9A
Other languages
English (en)
Other versions
CN113386122A (zh
Inventor
苗林
付星斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020097760A external-priority patent/JP7450857B2/ja
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113386122A publication Critical patent/CN113386122A/zh
Application granted granted Critical
Publication of CN113386122B publication Critical patent/CN113386122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1651—Programme controls characterised by the control loop acceleration, rate control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0095—Means or methods for testing manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

提供测量参数的优化方法和装置以及计算机可读存储介质，与以往相比，能够显著简化地调整和优化通过机器人搭载的测量装置测量对象物时的测量参数。测量参数的优化方法包含如下步骤：第1步骤，以第1测量参数取得多个对象物的多个张数N的拍摄图像；第2步骤，估计在假定以第2测量参数取得了多个对象物的多个张数N/j的拍摄图像的情况下的对象物的识别数Zi，并存储为第1数据；第3步骤，根据第1数据估计在假定以第3测量参数取得了多个对象物的多个张数N/j/k的拍摄图像的情况下的对象物的识别数Zi，并存储为第2数据；以及第4步骤，从第2数据中决定满足规定的判定基准的优化测量参数。

Description

测量参数的优化方法和装置以及计算机可读存储介质
技术领域
本发明涉及操作对象物的机器人系统中的对象物的测量参数优化方法等。
背景技术
已知有如下装置：在工厂自动化(FA：Factory Automation)的检查、生产线中，测量散装的工件(部件等)等对象物的位置姿势，通过机器人将识别出的对象物移载到其他场所或容器或者对该对象物进行加工。在该装置中，设定用于最优地控制机器人或测量装置的动作的参数，根据该控制参数，执行机器人或测量装置的各种任务。
例如，在专利文献1中，记载了在具有机器人以及机床并且对多个对象物进行多次测量(多视点测量)的测量装置中，依次决定多个测量位置姿势作为测量参数的方法。在该方法中，存储机器人的多个移动终点位置，根据这些位置，进行同时求出机器人的机构参数的误差以及机器人的坐标系和机床的坐标系之间的相对关系的校准。
专利文献1：日本特开2017-56546号公报
发明内容
但是，在专利文献1等中的现有的测量参数设定中，在进行测量参数的优化时，例如需要评价对象物的拍摄速度、拍摄张数以及拍摄时间间隔这样的多个参数的组合是否适当，因此，测量参数的调整和优化设定需要很多工夫和长时间。另外，在测量装置搭载于机器人的情况下，由于测量参数依赖于机器人的机构特性，因此需要针对每个机器人调整测量参数。进而，在变更对象物的识别中的评价目标的情况下，需要更多的工夫和时间，因此测量参数的调整以及优化设定变得极其困难。
因此，本发明的一个方面是鉴于该情况而完成的，其目的在于提供与以往相比能够显著简化地(减少工夫、缩短时间、不依赖于机器人)调整以及优化通过搭载于机器人的测量装置来测量对象物时的测量参数的方法等。
为了解决上述问题，本发明采用以下结构。
[1]即，本发明的测量参数的优化方法的一例是用于使通过设置于机器人的测量装置(传感器)测量一个以上的对象物时的测量参数优化的方法，包含以下(1)至(4)所示的第1步骤至第4步骤。另外，“机器人”的结构没有特别限定，例如可以举出具有机器人臂以及设置在该机器人臂的末端部且操作对象物的手的结构。另外，“测量装置”的结构也没有特别限制，例如可以举出设置在机器人臂并且能够测量对象物的位置信息(例如二维或三维位置信息)的结构。关于这些“机器人”以及“测量装置”的更具体的例子，在后面叙述。
(1)第1步骤，在以作为第1测量参数的速度V、时间间隔T和合计移动角度θ使测量装置移动的同时，拍摄一个以上的对象物而取得多个张数N的拍摄图像。
(2)第2步骤，在假定以作为第2测量参数的速度V、时间间隔T×j(j：1以上的整数)和合计移动角度θ使测量装置移动的同时，拍摄一个以上的对象物而取得多个张数N/j的拍摄图像，并且进行了识别一个以上的对象物的位置姿势的图像处理的情况下，估计该情况下的表示张数i(这里i＝1，2，…，N/j-1，N/j)的对象物的识别准确性的评价值Zi，将与第2测量参数相关联的评价值Zi作为第1数据进行存储。
(3)第3步骤，在假定以作为第3测量参数的速度V×k(k：2以上的整数)、时间间隔T×j/k和合计移动角度θ使所述测量装置移动的同时，拍摄一个以上的对象物而取得多个张数N/j/k的拍摄图像，并且进行了与上述图像处理同等的处理的情况下，根据第1数据估计该情况下的表示张数i(这里i＝1，2，…，N/j/k-1，N/j/k)的对象物的识别准确性的评价值Zi，将与第3测量参数相关联的评价值Zi作为第2数据进行存储。
(4)第4步骤，从第2数据中选定满足规定的判定基准的数据的测量参数，决定为机器人对一个以上的对象物进行操作时的优化测量参数。
在该结构中，根据作为在机器人系统实际工作前预先取得的基本数据的第1数据，在将测量参数变更为不同的条件(第2测量参数、第3测量参数)的情况下，不进行基于该变更后的参数的实际的测量，就能够估计一个以上的对象物的识别结果。因此，不需要对作为测量参数可设想的条件的全部组合进行事先测量，只要按照设想的工件5的每个种类在实际工作前仅进行一次详细的事先测量，就能够进行基于传感器1的测量参数的优化。因此，与以往相比能够显著简化地(减少工夫、缩短时间、不依赖于机器人等)调整以及优化通过搭载于机器人的测量装置来测量对象物时的测量参数。由此，能够提高对象物的测量时的鲁棒性、对象物的操作的作业效率以及整体的吞吐量，其结果，用户的便利性以及通用性也显著提高。
[2]在上述结构中，更具体而言，规定的判定基准可以包含对象物的评价值Zi为预先设定的对象物的评价值以上的情况。在该结构中，通过将判定基准中的规定的评价值设定得更大，能够进一步提高鲁棒性，有利于优先提高测量精度的情况。
[3]另外，除了在预先设定的对象物的评价值以上之外，规定的判定基准还可以至少包含测量所需的时间更短的情况。在该结构中，能够在满足期望的评价值的同时，使测量所需的时间最小化，有利于优先降低测量处理时间的情况。
[4]此外，除了在预先设定的对象物的评价值以上之外，规定的判定基准还可以包含测量装置的移动的速度V更快的情况，在该结构中，有利于满足期望的评价值，并且优先测量装置移动时的速度V的情况。
[5]另外，除了在预先设定的对象物的评价值以上之外，规定的判定基准还可以包含一个以上的对象物的拍摄张数i更少的情况，在该结构中，有利于满足期望的评价值，并且优先减少拍摄张数i的情况。
[6]并且，在上述各结构中，可以构成为，至少实施一次优选实施多次基于第1测量参数的一个以上的对象物的拍摄，在实施了多次拍摄的情况下，将针对各拍摄所取得的评价值Zi的平均值作为第1数据进行存储。在该结构中，能够提高通过实验求出的第1数据的精度和可靠性，其结果，能够进一步提高测量一个以上的对象物时的鲁棒性、操作一个以上的对象物时的作业效率以及整体的吞吐量。
[7]而且，可以构成为，在如上述那样变更了机器人时，在第1数据至第3数据中包含与如下的速度V和时间间隔T对应的测量参数所对应的数据的情况下，从该第1数据至该第3数据中选定满足规定的判定基准的数据的测量参数，决定为与所述机器人不同的机器人对所述多个对象物进行操作时的优化测量参数，其中，该速度V和时间间隔T是与所述不同的机器人的特性对应的。在该结构中，如上所述，能够提供不依赖于机器人而能够实现测量参数的优化的简单的方法。
[8]或者，同样地，可以构成为，在所述第1数据至所述第2数据中包含与如下的速度V和时间间隔T对应的测量参数所对应的数据的情况下，将与对应的数据的测量参数相关联的数据作为新的第1数据，实施第2步骤至第4步骤，从而取得并存储新的第2数据，从新的第2数据中选定满足规定的判定基准的数据的测量参数，决定为与所述机器人不同的机器人对一个以上对象物进行操作时的优化测量参数，其中，该速度V和时间间隔T是与所述不同的机器人的特性对应的。在该结构中，如上所述，也能够提供不依赖于机器人而能够实现测量参数的优化的简单的方法。
[9]此外，本发明的测量参数的优化装置的一例是用于使通过设置于机器人的测量装置测量多个对象物时的测量参数优化的装置，其具有至少一个处理器，该至少一个处理器执行本发明的测量参数的优化方法中的各步骤。
[10]另外，本发明的计算机控制程序的一例是为了进行通过设置于机器人的测量装置测量多个对象物时的测量参数的优化，而使具有至少一个处理器的计算机执行本发明的测量参数的优化方法的各步骤的程序，换言之，是使计算机有效地作为上述本发明的测量参数的优化装置而发挥功能的程序。
[11]另外，本发明的机器人系统的一例具有机器人、设置于机器人的测量装置以及与机器人和测量装置连接的控制装置，控制装置具有至少一个处理器，至少一个处理器是执行本发明的测量参数的优化方法中的各步骤的系统。换言之，在机器人系统中，本发明的测量参数的优化装置作为控制装置发挥功能。
另外，在本发明中，“部”和“装置”并不简单地意味着物理单元，而是还包含通过软件实现该“部”和“装置”所具有的功能的结构。另外，一个“部”以及“装置”具有的功能可以通过两个以上的物理单元或装置来实现，或者两个以上的“部”以及“装置”的功能可以通过一个物理单元或装置来实现。进而，“部”以及“装置”例如是也可以换言之为“单元”以及“系统”的概念。
根据本发明，与以往相比，能够显著简化地(减少工夫、缩短时间、不依赖于机器人等)调整以及优化通过搭载于机器人的测量装置来测量对象物时的测量参数。由此，能够提高测量对象物时的鲁棒性、对象物的操作的作业效率以及整体的吞吐量，其结果，用户的便利性以及通用性也显著提高。
附图说明
图1是示意性地示出具有本实施方式的控制装置的机器人系统的应用场面的一例的平面图。
图2是示意性地示出具有本实施方式的控制装置的机器人系统的应用场面的一例的平面图。
图3是示意性地示出具有本实施方式的控制装置的机器人系统的硬件结构的一例的平面图。
图4是示意性地示出具有本实施方式的控制装置的机器人系统的功能结构的一例的平面图。
图5是示出具有动作例的控制装置的机器人系统的处理步骤的一例的流程图。
图6是示意性地示出动作例的步骤S501的传感器1的移动状态的概念的平面图。
图7是以表形式示出动作例的步骤S502中的第1数据以及步骤S503中的第1数据的一例的图。
图8是以表形式示出动作例的步骤S504中的第2数据的一例的图。
图9是以表形式示出动作例的步骤S504中的第2数据的一例的图。
图10是以表形式示出动作例的步骤S504中的第2数据的一例的图。
图11是以表形式示出针对多个工件5(六角螺栓)使用传感器1通过实验执行步骤S501至S504而得到的第2数据的具体的一例的图。
图12是针对图11所示的数据集的一例，在基于传感器1的多个工件5的拍摄图像上重叠识别结果(轮廓线)而显示的平面图。
图13是按照识别数Zi从大到小的顺序对图11所例示的第2数据进行排序并按照速度V从大到小的顺序对具有相同识别数Zi的数据进行排序的图。
图14是按照识别数Zi从大到小的顺序对图11所例示的第2数据进行排序并按照拍摄张数i从小到大的顺序对具有相同识别数Zi的数据进行排序的图。
图15是示出第4变形例中的处理步骤的一例的流程图。
图16是测量不同形状的多个工件5并在它们的拍摄图像上重叠基于图像处理的工件5的位置姿势的识别结果(轮廓线)而显示的平面图。
标号说明
1：传感器(测量装置)；2：手；3：机器人臂；4：控制装置；5：工件(对象物)；6、7：收纳容器；10：机器人；41：控制运算部；42：通信接口(I/F)部；43：存储部；44：输入部；45：输出部；46：总线；100：机器人系统；401：传感器控制部；402：机器人控制部；410：拍摄图像取得部；411：第1数据取得部；412：第2数据取得部；413：第3数据取得部；414：优化参数决定部；Gi：传感器的位置；P0、P1、P2：移动路径。
具体实施方式
在下文中，参照附图说明本发明的一例的实施的方式(在下文中，记作“实施方式”)。但是，以下说明的实施方式只是例示，并不排除以下未明示的各种变形和技术的应用。即，在不脱离本发明的主旨的范围内，可以对本发明的一例进行各种变形来实施。另外，在以下的附图的记载中，对相同或类似的部分标注相同或类似的标号，附图是示意性的，未必与实际的尺寸或比率等一致。进而，有时在附图彼此间也包含相互的尺寸的关系或比率不同的部分。
§1应用例
首先，使用图1和图2说明应用本发明的一例的情况的一例。图1以及图2分别是示意性地示出具有本实施方式的控制装置的机器人系统的应用场面的一例的平面图。本实施方式的机器人系统100能够进行利用机器人10将例如散装在瓶等收纳容器6内的多个工件5从收纳容器6取出并移载到其他收纳容器7等并进行排列配置的操作(图2的移动路径P1)和/或使移载完某工件5的机器人10为了取出下一个工件5而向收纳容器6侧复位的操作(图2的移动路径P2)。另外，工件5也可以不在收纳容器6内，而是例如层积在工作台或桌等上。另外，工件5的种类没有特别限制，例如可以举出汽车的动力传动系统(例如发动机或变速器等)的机械部件或电装系统的电子部件等。另外，除了机器人10之外，该机器人系统100还包含设置于该机器人10的传感器1(本发明中的“测量装置”的一例)以及与传感器1和机器人10连接的控制装置4(本发明中的“测量参数的优化装置”的一例)。
传感器1是取得包含工件5的位置信息(例如三维位置信息)的测量数据的3D传感器，设置在机器人10的机器人臂3的末端部，如图1的(A)以及图1的(B)所示，以规定的视野(角)且以规定的测量参数拍摄工件5。该传感器1例如可以是测量点群的距离传感器或者也可以是组合距离传感器和二维传感器来取得距离图像的距离图像传感器。距离传感器测量作为进深信息的距离d。二维传感器是拍摄二维图像的图像传感器，二维图像在不将距离d作为像素值这一点与距离图像不同。距离图像传感器例如可以是一边改变二维传感器的拍摄位置一边拍摄工件5的多个二维图像，通过立体视觉的图像处理，取得将距离d作为像素值的距离图像的照相机。或者，距离图像传感器也可以是从多个不同的方向同时拍摄工件5，从而取得将距离d作为像素值的距离图像的立体照相机。
另外，传感器1不是必需的，根据需要，也可以具有将包含适当的测量光(例如在有源方式中使用的图案光或扫描光等)的所谓3D用照明、作为通常的照明的所谓的2D用照明向工件5投射的投影仪(未图示)。该投影仪的结构也没有特别限制，例如，在投射图案光的情况下，能够例示具有激光光源、图案掩模以及镜头的结构。从激光光源射出的光通过形成有规定图案的图案掩模转换为具有规定图案的测量光(图案光)，经由镜头向工件5投射。
作为该“规定的图案”，没有特别限制，例如可以例示在主动单触发方式中使用的各种图案。更具体而言，例如，列举出将多条线以规定的间隔二维配置的所谓的基于线的图案、能够相互区别的多种单位图像、单位图形、几何学形状等二维配置(可以是规则的也可以是随机的，规则部分和随机部分可以混合或重叠)的所谓基于区域的图案、在纵横线的栅格上配置了图形符号等的所谓基于栅格图的图案等。另外，各规定的图案也可以为了编码用而包含例如用于区别线或单位图形的ID信息。
另外，作为工件5的测量方式，没有特别限制，例如，可以适当选择并利用使用光的直进性的各种主动测量方式(例如，以三角测距为基本原理的空间编码图案投影方式、时间编码图案投影方式、莫尔条纹形貌方式等)、使用光的直进性的各种被动测量方式(例如，以三角测距为基本原理的立体照相机方式、视体积交叉方式、因子分解方式等、以同轴测距为基本原理的对焦测距(Depth from focusing)方式等)以及使用光的速度的各种主动测量方式(例如，以同时测距为基本原理的飞行时间方式(Time of Flight)、激光扫描方式等)。
作为工件5的测量数据，可以例示出通过这些各种测量方式取得的图像数据(例如三维点群数据、距离图像等)以及能够与工件5的三维模型数据进行对照的适当的数据等。这里，作为工件5的三维模型数据，例如列举出三维坐标数据、将该三维坐标数据与工件5的各种不同的位置姿势对应地进行二维投影得到的二维坐标数据、其他与适当的模板或图案对应的数据等。另外，在工件5的识别中，与三维模型数据的对照不是必需的，也可以应用不使用模型数据(所谓无模型)的识别。
机器人10例如是具有用于操作(例如把持、吸附、移动、组装或插入等)工件5的手2和在末端部设置有该手2的机器人臂3的多关节机器人(例如，垂直多关节机器人、水平多关节机器人)。在机器人10的各关节中组装有用于驱动关节的伺服电机等驱动装置和用于检测关节的位移(角度位移)的编码器等位移检测装置。另外，机器人10作为自主动作的机械手进行动作，例如能够用于工件5的拾取、组装、搬运、涂装、检查、研磨或清洗等各种用途。
手2是末端执行器的一例，具有能够对各个工件5进行把持且释放(抓住且离开)动作的把持机构。机器人臂3具有用于将手2移动到收纳容器6内的工件5的把持位置(拾取位置)并且使把持工件5的手2从其把持位置向其他收纳容器7中的释放位置(放开位置)移动的驱动机构。
控制装置4分别与传感器1以及机器人10连接，除了基于传感器1的工件5的测量处理、基于手2的工件5的操作处理、机器人10(手2以及机器人臂3等)的驱动处理之外，还控制与在机器人系统100中所需的各种动作、运算相关的处理。另外，控制装置4在机器人系统100的实际工作之前，执行通过传感器1测量多个工件5时的测量参数的优化。
在该优化处理中，首先，(1)设定能够更详细地测量评价多个工件5的位置姿势的第1测量参数，一边在该条件下使传感器1移动，一边对设想的多个工件5(例如，散装在收纳容器6内的多个工件5)进行多次拍摄。接着，(2)进行使用了从得到的多个张数N的拍摄图像中选择的不同张数i的拍摄图像的图像处理，取得表示工件5的识别准确性的评价值Zi(例如，识别出的工件5的数量)，将该评价值Zi与第1测量参数一起作为第1数据进行存储。接着，(3)以传感器1的移动速度以外的条件与第1测量参数不同的第2测量参数拍摄多个工件5，并且，估计表示假定进行了与上述的图像处理同等的处理时的工件5的识别准确性的评价值Zi(例如，识别的工件5的数量)，将该评价值Zi与第2测量参数一起作为第1数据进行存储。
并且，(4)使用在上述步骤(2)和(3)中的任意一方或双方中得到的第1数据，以与第1测量参数和第2测量参数不同的第3测量参数拍摄多个工件5，并且，估计表示假定进行了与上述图像处理同等的处理时的工件5的识别准确性的评价值Zi(例如，识别出的工件5的数量)，将该评价值Zi与第3测量参数一起作为第2数据进行存储。然后，(5)从得到的第2数据中选定满足规定的判定基准(例如，规定的评价值以上且测量时间、移动速度以及拍摄张数中的至少任意一个的基准)的数据的测量参数中的至少一个，并从其中决定例如用户期望的测量参数作为机器人系统100实际工作时的优化测量参数。
根据这样的本应用例的控制装置4、具有该控制装置4的机器人系统100以及在它们中实施的测量参数的优化方法，使用基本的第1测量参数，根据在机器人系统100的实际工作前实施的多个工件5的拍摄以及图像处理结果，可以估计将测量参数变更为不同条件时的多个工件5的识别结果。因此，不对作为测量参数可设想的条件的全部组合进行事先测量，而是按照设想的每种工件5，在实际工作前仅进行一次详细的事先测量，就能够进行基于传感器1的测量参数的优化。另外，即使在机器人10变更了的情况下，也能够活用针对搭载了传感器1的某个机器人10预先取得的第1数据至第2数据的参数集，由此，可以在不进行新的事先测量的情况下，使变更后的不同的机器人对多个工件5进行操作时的测量参数优化。
如上所述，根据本发明，与以往相比，能够显著地简化(减少工夫、缩短时间、不依赖于机器人等)通过具有各种机器人10的机器人系统100对各种多个工件5进行操作的任务中的基于传感器1的测量参数的优化。由此，能够提高测量多个工件5时的鲁棒性、多个工件5的操作的作业效率以及整体的吞吐量，其结果，用户的便利性以及通用性也显著提高。
§2结构例
[硬件结构]
接下来，使用图3说明本实施方式的机器人系统100的硬件结构的一例。图3是示意性示出具有本实施方式的控制装置4的机器人系统100的硬件结构的一例的平面图。在图3的例子中，机器人系统100也具有机器人10以及控制装置4，该机器人10具有图1以及图2所例示的传感器1、手2以及机器人臂3。这里，控制装置4包含控制运算部41、通信接口(I/F)部42、存储部43、输入部44以及输出部45，各部经由总线46可相互通信地连接。
控制运算部41包含CPU(Central Processing Unit：中央处理器)、RAM(RandomAccess Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等，根据信息处理进行各结构要素的控制和各种运算。
通信I/F部42例如是用于通过有线或无线与作为其他结构要素的“部”以及“装置”进行通信的通信模块。通信I/F部42在通信中使用的通信方式是任意的，例如可以举出LAN(Local Area Network：局域网)、USB(Universal Serial Bus：通用串行总线)等，也可以应用与总线46同等的适当的通信线。传感器1、手2以及机器人臂3都可以设置成能够经由通信I/F部42与控制运算部41等进行通信。
存储部43是例如硬盘驱动器(HDD)、固态驱动器(SSD)等辅助存储装置，存储由控制运算部41执行的各种程序(用于执行包含所述(1)至(7)所示的处理在内的各种处理的运算程序以及用于进行传感器1、手2和机器人臂3各自的动作的控制处理的控制程序等)、包含从传感器1输出的测量数据、测量参数、识别参数和各种计算参数的数据库、各种运算结果和计算结果的数据、与多个工件5各自的位置姿势识别结果相关的数据、与各工件5的拾取状况或拾取记录相关的数据、工件5的三维模型数据、与可包含多个工件5的测量区域相关的数据、对该测量区域进行测量的传感器1的位置姿势的设定数据等。这样，通过由控制运算部41执行存储在存储部43中的运算程序和控制程序，来实现后述的功能结构例中的各种处理功能。
输入部44是用于受理来自利用机器人系统100的用户的各种输入操作的接口设备，例如能够通过鼠标、键盘、触摸面板、声音麦克风等实现。输出部45是用于将各种信息通过其显示、声音输出、打印输出等向利用机器人系统100的用户等告知的接口设备，例如可以通过显示器、扬声器、打印机等实现。
[功能结构]
接下来，参照图4说明包含本实施方式的物体识别处理装置的机器人系统100的功能结构的一例。图4是示意性示出包含本实施方式的控制装置4的机器人系统100的功能结构的一例的平面图。
图4所示的机器人系统100的控制运算部41将存储在存储部43中的各种程序(控制程序以及运算程序等)在RAM中展开。并且，控制运算部41通过CPU解释以及执行在RAM中展开的各种程序，控制各结构要素。由此，如上所述，本实施方式的机器人系统100能够进行将散装在收纳容器6内的多个工件5取出并移载到其他收纳容器7等并进行排列配置的操作(图2的移动路径P1)和/或使移载完某工件5的机器人10为了取出下一个工件5而向收纳容器6侧复位的操作(图2的移动路径P2)。另外，在这样的机器人系统100的实际工作之前，为了执行通过传感器1测量多个工件5时的测量参数的优化，可以通过控制运算部41实现如下结构：该结构具有传感器控制部401、机器人控制部402、拍摄图像取得部410、第1数据取得部411、第2数据取得部412、第3数据取得部413以及优化参数决定部414作为能够执行以下所示的各步骤的处理的功能部。
另外，在本实施方式中，说明了由机器人系统100所具有的控制装置4实现的各功能由通用的CPU实现的例子，但以上功能的一部分或全部也可以由一个或多个专用的处理器实现。另外，机器人系统100所具有的控制装置4的功能结构当然可以根据实施方式、结构例适当地进行功能的省略、置换以及追加。另外，“控制装置”可以理解为一般的信息处理装置(例如计算机、工作站等)。
§3动作例
接着，作为机器人系统100的动作的一例，使用图5说明在机器人系统100的实际工作之前执行通过传感器1测量多个工件5时的测量参数的优化的步骤的一例。即，图5是示出具有本动作例的控制装置4的机器人系统100中的处理步骤的一例的流程图，也是示出机器人系统100的测量参数的优化方法中的处理步骤的一例的流程图。另外，以下说明的处理步骤只不过是例示，各处理可以在本发明的技术思想的范围内尽可能地变更。另外，以下说明的处理步骤可以根据实施方式或各结构例适当地进行步骤的省略、置换以及追加。
首先，机器人系统100的用户启动机器人系统100，成为能够执行各种程序(运算程序、控制程序、测量参数的优化等)的状态。然后，控制装置4中的控制运算部41(至少一个处理器)按照以下的处理步骤，控制传感器1以及机器人10各自的动作，并且进行基于控制装置4中的各功能部的运算处理。
(步骤S501：第1步骤)
在步骤S501中，首先，作为第1测量参数，设定基于机器人10(的机器人臂3)的传感器1的移动路径P0、移动的速度V、时间间隔T以及合计移动角度θ。这里，图6是示意性示出步骤S501中的传感器1的移动状态的概念的平面图。如该图所示，移动路径P0例如可以设定为形成以散装在容器6内的多个工件5的大致体积中心即坐标G0为中心的弧状。另外，传感器1的移动轨迹不限于弧状(具有一定曲率的形状)，例如也可以是直线状、非直线状、曲率变化的形状等，另外，也可以使坐标G0变动。进而，这里实验性地使用的多个工件5选择与机器人系统100的实际工作时的操作对象相同种类的工件。
速度V没有特别限制，例如可以设定能够作为传感器1的移动速度而实现的速度范围内的任意的值，如果是更慢的速度，则从能够取得更多详细的拍摄图像的观点出发是优选的。进而，时间间隔T没有特别限制，例如，可以设定能够作为传感器1的拍摄间隔而实现的间隔范围中的任意的值，特别是如果是最小时间间隔，则从能够取得更多详细的拍摄图像的观点出发是优选的。另外，合计移动角度θ没有特别限制，例如可以设定与传感器1的可动范围的最大距离对应的角度。
根据这些速度V、时间间隔T以及合计移动角度θ，求出基于第1测量参数的多个工件5的拍摄的拍摄张数N＝θ/V/T以及每次移动角度(每个时间间隔T的移动角度)μ＝V×T，根据机器人控制部402的指令，在该条件下使传感器1弧状地沿着移动路径P0移动，同时根据传感器控制部401的指令，多次拍摄容器6内的多个工件5，取得多个张数N的拍摄图像。即，在本步骤中，如图6所示，通过相对于散装的多个工件5以不同的仰角对置的传感器1(传感器1的位置P1、P2，…，PN-1、PN，相邻的传感器位置的角度是每次移动角度μ)进行N次拍摄，取得多个张数N的拍摄图像。
(步骤S502：第2步骤(1))
在步骤S502中，通过第1数据取得部411，从所得到的多个张数N的拍摄图像中依次提取不同张数i的拍摄图像并进行图像处理，依次取得表示工件5的识别准确度的评价值Zi(例如，被识别的工件5的数量)。这里，张数i＝1、2，…，N-1、N(即，i是1～N的整数)，具体而言，例如在第1张拍摄图像(传感器1的初始位置G1)中进行图像处理(i＝1)，接着，使用传感器位置相互相邻的第1张和第2张拍摄图像(传感器1的初始位置G1和下一个位置G2)进行图像处理(i＝2)。然后，依次反复执行这样的处理直到i＝N为止(传感器1的位置Gi至位置GN)，将针对各拍摄张数i得到的评价值Zi与第1测量参数建立关联，并作为第1数据存储在存储部43中。
(步骤S503：第2步骤(2))
在步骤S503中，首先通过第1数据取得部412设定基于机器人10(的机器人臂3)的传感器1的移动路径P0、移动的速度V、时间间隔T×j(j：2以上的整数)以及合计移动角度θ作为第2测量参数。即，在第2测量参数中，使基于传感器1的测量的时间间隔以成为第1测量参数中的时间间隔的整数倍的方式进行各种变化。但是，在步骤S503中，不是以该第2测量参数进行实际的测量，而是使用在步骤S501中得到的多个张数N的拍摄图像，估计在假定以该第2测量参数对多个工件5进行拍摄并且进行了与步骤S502中的图像处理同等的处理的情况下的、表示各拍摄张数i中的工件5的识别准确性的评价值Zi(例如，识别出的工件5的数量)。然后，将针对各j时的各拍摄张数i得到的评价值Zi与第2测量参数建立关联，将其作为第1数据存储在存储部43中。
另外，步骤S502的处理与在步骤S503中设j＝1时的处理相同，因此为了便于说明，将在步骤S502、503中得到的数据称为“第1数据”。但是，在取得第1数据这方面，不一定需要执行步骤S502、503双方的步骤，只要执行任意一个步骤即可。另外，在执行步骤S502、503双方的步骤的情况下，可以先执行任意一个步骤，后执行另一个步骤，其执行顺序没有特别地限定。
此外，在上述说明中，示出了在步骤S503中将速度V固定为一定值，改变时间间隔T，从而生成均等地间隔剔除了拍摄图像的图像集的各种变化的例子，但也可以将时间间隔T固定为一定值，改变速度V，从而生成均等地间隔剔除了拍摄图像的图像集的各种变化。
这里，图7是以表形式示出步骤S502(第2步骤(1))中的第1数据以及步骤S503(第2步骤(2))中的第1数据的一例的图。图7的(A)所示的数据集相当于在步骤S502中取得的第1数据，该第1数据是测量时的时间间隔T＝0.01(sec)、拍摄张数N＝120以及每次移动角度μ(＝θ/(120-1))的例子，取得评价值Zi(i＝1～121)的数据。即，这里，合计移动角度θ被119等分，进行120次拍摄。
图7的(B)至7的(D)所示的数据集相当于在步骤S503中取得的第1数据集。图7的(B)所示的数据集是j＝2的例子，为测量时的时间间隔T×2＝0.02(sec)、拍摄张数N＝60以及每次移动角度μ×2。因此，可以将在步骤S502中取得的第1数据中的拍摄张数i＝1、3、5，…，117、119时的评价值Zi的数据作为j＝2时的各拍摄张数i的评价值Zi(i＝1～60)的数据而分别进行分配。
此外，图7的(C)所示的数据集是j＝4的例子，为测量时的时间间隔T×4＝0.04(sec)、拍摄张数N＝31以及每次移动角度μ×4。因此，可以将在步骤S502中取得的第1数据的拍摄张数i＝1、5、9，…，113、117时的评价值Zi的数据作为j＝4时的各拍摄张数i的评价值Zi(i＝1～30)的数据而进行分配。而且，图7的(D)示出了对“j”进行一般化的情况下的数据集。
(步骤S504：第3步骤)
在步骤S504中，首先通过第2数据取得部413设定基于机器人10(的机器人臂3)的传感器1的移动路径P0以及移动的速度V×k(k：2以上的整数)、时间间隔T×j/k和合计移动角度θ作为第3测量参数。即，将第3测量参数的传感器1的速度设定为第1测量参数的传感器1的速度的k倍，将第3测量参数的基于传感器1的测量的时间间隔设定为第1测量参数的基于传感器1的测量的时间间隔的(1/k)倍。但是，在步骤S504中也不是以该第3测量参数进行实际的测量，而是使用作为基本数据的第1数据，估计在假定以该第2测量参数拍摄多个工件5并且进行了与步骤S502中的图像处理同等的处理的情况下的、表示各拍摄张数i中的工件5的识别准确性的评价值Zi(例如，识别出的工件5的数量)。然后，将针对各j以及各k时的各拍摄张数i得到的评价值Zi与第3测量参数建立关联，并作为第2数据存储在存储部43中。
这里，图8至图10是以表形式示出步骤S504(第3步骤)中的第2数据的一例的图。
图8的(A)至图8的(D)所示的数据集相当于将传感器1的速度V设为k＝2倍时的图7的(A)至图7的(D)。图8的(A)所示的数据集是k＝2以及j＝1的例子，为测量时的时间间隔T×1＝0.01(sec)、拍摄张数N＝60以及每次移动角度μ×1×2。因此，可以将第1数据中的拍摄张数i＝1、3、5，…，117、119时的评价值Zi的数据作为k＝2以及j＝1时的各拍摄张数i的评价值Zi(i＝1～60)的数据而分别进行分配。
图8的(B)所示的数据集是k＝2以及j＝2的例子，为测量时的时间间隔T×2＝0.02(sec)、拍摄张数N＝30以及每次移动角度为μ×2×2。因此，可以将第1数据中的拍摄张数i＝1、5、9，…，113、117时的评价值Zi的数据作为k＝2以及j＝2时的各拍摄张数i的评价值Zi(i＝1～30)的数据而分别进行分配。
图8的(C)所示的数据集是k＝2以及j＝4的例子，为测量时的时间间隔T×4＝0.04(sec)、拍摄张数N＝15以及每次移动角度μ×4×2。因此，可以将第1数据中的拍摄张数i＝1、9、17，…，105、113时的评价值Zi的数据作为k＝2以及j＝4时的各拍摄张数i的评价值Zi(i＝1～15)的数据而分别进行分配。而且，图8的(D)示出了对“k＝2”和“j”进行一般化的情况下的数据集。
此外，图9的(A)至图9的(D)所示的数据集相当于将传感器1的速度V设为k＝3倍时的图7的(A)至图7的(D)。图9的(A)所示的数据集是k＝3以及j＝1的例子，为测量时的时间间隔T×1＝0.01(sec)、拍摄张数N＝40以及每次移动角度μ×1×3。因此，可以将第1数据中的拍摄张数i＝1、4、7，…，115、118时的评价值Zi的数据作为k＝3以及j＝1时的各拍摄张数i的评价值Zi(i＝1～40)的数据而分别进行分配。
图9的(B)所示的数据集是k＝3以及j＝2的例子，为测量时的时间间隔T×2＝0.02(sec)、拍摄张数N＝20以及每次移动角度μ×2×3。因此，可以将第1数据中的拍摄张数i＝1、7、13，…，115、121时的评价值Zi的数据作为k＝3以及j＝2时的各拍摄张数i的评价值Zi(i＝1～20)的数据而分别进行分配。
图9的(C)所示的数据集是k＝3以及j＝4的例子，为测量时的时间间隔T×4＝0.04(sec)、拍摄张数N＝10以及每次移动角度μ×4×3。因此，可以将第1数据中的拍摄张数i＝1、13、25，…，97、109时的评价值Zi的数据作为k＝3以及j＝4时的各拍摄张数i的评价值Zi(i＝1～10)的数据而分别进行分配。而且，图9的(D)示出对“k＝3”和“j”进行一般化的情况下的数据集。此外，图10的(A)至图10的(D)所示的数据集示出了对“k”进行一般化的情况下的数据集，特别地，图10的(D)示出了对“k”和“j”的双方进行一般化的情况下的数据集。
(步骤S505：第4步骤)
在步骤S505中，通过优化参数决定部414从所获得的第2数据中选定至少一个满足规定的判定基准的数据的测量参数，并从它们当中决定例如用户期望的测量参数作为机器人系统100的实际工作时的优化测量参数。这里，图11是以表形式示出使用某机器人系统100对作为散装的20个工件5的六角螺栓使用传感器1通过实验执行步骤S501至S504得到的第2数据的具体的一例的图。另外，在图示中，以相对于该机器人系统100能够实现的最大速度的比例(％)来显示传感器1的移动的速度V。另外，该图中的“所需时间H”严格来说不仅依赖于时间间隔T和拍摄张数N，还由包含传感器1所拍摄的图像向控制运算部41(计算机)的传送时间以及多张3D点群数据的合成时间等在内的合计时间来表示，但这里，为了便于说明，作为所需时间H＝时间间隔T×拍摄张数i来进行计算。进而，在该图中，仅图示了作为评价值Zi的工件5的识别数为17个以上的情况。
另外，图12是针对图11所示的数据集的一例，在基于传感器1的20个工件5的拍摄图像上重叠识别结果(轮廓线)而显示的平面图。例如，图12的(A)示出速度V＝70％、时间间隔T＝0.05(sec)、拍摄张数i＝5以及作为评价值Zi的工件5的识别数＝19个的结果，图的下方记载的“70％_0.05_5_19”表示这些条件和结果。另外，对于图12的(B)至图12的(D)也同样。另外，在图12的(C)中，在图示中识别出轮廓线的工件5的数量是17个，但通过调整识别结果的可靠度，判断为能够识别18个，因此作为最终的评价值Zi的工件5的识别数＝18个。相反，在图12的(D)中，在图示中识别出轮廓线的工件5的数量是19个，但由于调整了识别结果的可靠度的结果是，判断为能够识别18个，因此作为最终的评价值Zi的工件5的识别数＝18个。
在步骤S505中，将规定的判定基准设为例如工件5的评价值Zi是规定的评价值ZB以上，在图11中，按照评价值Zi从大到小的顺序对数据进行排序，并且相同评价值Zi的数据按照所需时间H从小到大的顺序进行排序。例如，在设定为作为判定用的规定的评价值ZB的识别数＝19个(识别率＝19个/20个＝95％)的情况下，能够从在图11中与评价值Zi＝19个的多个数据集对应的测量参数中适当选择例如用户期望的测量参数，并决定为机器人系统100的实际工作时的优化测量参数。这在作为判定用的规定的评价值ZB的识别数＝17个或18个的情况下也同样。
(步骤S506)
在步骤S506中，使用在步骤S505中决定的优化测量参数，使机器人系统100实际工作，实施多个工件5的操作处理。
§4作用/效果
如上所述，根据本实施方式的机器人系统100的控制装置4以及使用了该控制装置4的测量参数的优化方法的一例，在根据作为机器人系统100的实际工作前预先取得的基本数据的第1数据，将测量参数变更为不同的条件(第2测量参数、第3测量参数)的情况下，不进行基于该变更后的参数的实际的测量，就能够估计多个工件5的识别结果。因此，不需要对能够作为测量参数而设想到的条件的全部组合进行事先测量，只要按照设想的工件5的每个种类，在实际工作前仅进行一次详细的事先测量即可，能够进行基于传感器1的测量参数的优化。
另外，即使在机器人10变更了的情况下，只要在针对搭载了传感器1的某个机器人10预先取得的第1数据至第2数据的参数集中包含与变更后的机器人10的特性(机构参数)对应的条件(具体地说，传感器1的移动速度V和时间间隔T)，就能够从与该条件对应的第1数据至第2数据中选定满足规定的判定基准的数据的测量参数，并将其决定为变更后的不同的机器人对多个工件5进行操作时的优化测量参数。
或者，只要在第1数据至第2数据的参数集中包含与变更后的机器人10的特性对应的条件，就能够将该条件下的结果用作关于变更后的机器人10的基本数据(第1数据)。然后，通过使用该基本数据执行与上述第2步骤至第4步骤相同的处理，无需对包含变更后的机器人10的机器人系统100进行新的事先测量，就能够进行测量参数的优化。
如上所述，根据本发明，与以往相比，能够显著地简化(减少工夫、缩短时间、不依赖于机器人等)通过具有各种机器人10的机器人系统100对各种多个工件5进行操作的任务中的基于传感器1的测量参数的优化。由此，能够提高测量多个工件5时的鲁棒性、多个工件5的操作的作业效率以及整体的吞吐量，其结果，用户的便利性以及通用性也能够显著提高。此外，通过如上述步骤S505那样将规定的识别数ZB设定得更大，能够进一步提高鲁棒性，有利于优先提高测量精度的情况。
§5变形例
以上，详细地说明了作为本发明的一例的实施方式，但是上述说明在各个方面不过是示出本发明的一例，当然可以在不脱离本发明的范围的情况下进行各种改进和变形，例如可以进行以下所示的变更。另外，在以下的说明中，对与上述实施方式相同的结构要素使用相同的标号，对与上述实施方式相同的方面，适当省略说明。另外，上述实施方式以及以下的各变形例可以适当组合而构成。
在上述实施方式中，作为表示工件5的识别准确度的评价值Zi，例示了工件5的识别数，但不限于此。例如，也可以将由工件5的识别处理得到的三维的点群数据的有效数作为评价值Zi。或者，也可以将工件5的已知的三维信息(例如，三维CAD(Computer AidedDesign：计算机辅助设计)数据)与由工件5的识别处理得到的形状信息的一致程度作为评价值Zi。
在上述实施方式中，示出了将第3测量参数中的传感器1的速度设定为第1测量参数中的传感器1的速度的k倍，将第3测量参数中的基于传感器1的测量的时间间隔设定为第1测量参数中的基于传感器1的测量的时间间隔的(1/k)倍的例子，但不限于此。例如，设第1测量参数中的传感器1的速度为V1，设第3测量参数中的传感器1的速度为V2，设第1测量参数中的基于传感器1的测量的时间间隔为T1，设第3测量参数中的基于传感器1的测量的时间间隔为T2。在这种情况下，如果(V2×T2)是(V1×T1)的整数倍，则由于第1数据的验证结果包含第2数据的验证结果，因此可以应用与本实施方式相关的测量参数的优化方法。
在上述实施方式中，以V2和T2在传感器1的移动路径中始终恒定为前提，但不限于此。例如，也可以将传感器1的移动路径分割为多个区间并且在各个区间中使V2和T2恒定，不一定需要使V2和T2在不同的区间之间相同。
＜5.1：第1变形例＞
在第1变形例中，将规定的判断基准设为：作为表示工件5的识别准确性的评价值Zi的识别数为规定的识别数ZB以上并且传感器1的移动速度V更快。这里，图13是将图11中例示的第2数据按照评价值Zi从大到小的顺序对数据进行排序并且将相同评价值Zi的数据按照速度V从大到小的顺序重新进行排序的图。根据该图，确认了识别数ZB＝19个以及速度V为最大(80％)的测量参数存在4组，识别数ZB＝18个以及速度V为最大(90％)的测量参数存在6组，识别数ZB＝17个以及速度V为最大(90％)的测量参数存在1组。优化测量参数可以根据期望的识别数ZB从它们当中适当选择。这样，作为规定的判断基准，除了工件5的规定的识别数ZB之外，还增加了传感器1的速度V更快的情况，从而有利于在满足期望的识别数ZB的同时使传感器1移动时的速度V优先的情况。
＜5.2：第2变形例＞
在第2形例中，将规定的判断基准设为：作为表示工件5的识别准确性的评价值Zi的识别数为规定的识别数ZB以上并且多个工件5的拍摄张数i更少。这里，图14是将图11所例示的第2数据按照识别数Zi从大到小的顺序对数据进行排序并且将相同识别数Zi的数据按照拍摄张数i从小到大的顺序重新进行排序的图。根据该图，识别数ZB＝19个以及拍摄张数i为最小(4张)的测量参数是传感器1的速度V＝70％、时间间隔T＝0.06sec以及拍摄张数i＝4，可以将其决定为优化参数。另外，在图14中，确认了识别数ZB＝18个以及拍摄张数i为最小(4张)的测量参数存在6组，识别数ZB＝17个以及拍摄张数i为最小(3张)的测量参数存在4组。这样，作为规定的判断基准，除了工件5的规定的识别数ZB之外，还增加了拍摄张数i更少的情况，从而有利于在满足期望的识别数ZB的同时优先降低拍摄张数i的情况。
＜5.3：第3变形例＞
在第3变形例中，多次实施传感器1基于第1测量参数对多个工件5的拍摄，将针对各拍摄取得的各拍摄张数i的识别数Zi的平均值与第1测量参数相关联地存储为第1数据。在该情况下，也可以不刻意地(随机地)变更传感器1的位置姿势、传感器1的移动路径P0、多个工件5的散装状态等。这里，图15是示出第4变形例中的处理步骤的一例的流程图。
即，如图15所示，第3变形例中的处理除了代替步骤S502而实施步骤S1501至S1503以外，与图5所示的动作例中的处理步骤的一例相同。在步骤S1501中，与步骤S502(第2步骤(1))同样，进行使用了所得到的多个张数N的拍摄图像的图像处理，针对各拍摄张数i取得工件5的识别数Zi，但还没有实施将这些识别数Zi与第1测量参数相关联地存储的处理。接着，在步骤S1502中，在没有达到预先设定的步骤S501的重复数Q的情况下(步骤S1502为“否”)，重复步骤S501，针对Q次的拍摄处理中的各拍摄张数i，取得工件5的识别数Zi。即，针对各拍摄张数，取得Q个识别数Zi的数据。在步骤S501的重复数达到了Q次的情况下(步骤S1502为“是”)，转移到步骤S1503，计算Q个识别数Zi的数据的平均值，将该平均值与第1测量参数相关联地作为第1数据存储在存储部43中。
根据该第4变形例，能够提高通过实验求出的第1数据的精度和可靠性，其结果是，能够进一步提高多个工件5的测量时的鲁棒性、多个工件5的操作的作业效率以及整体的吞吐量。
＜5.4：第4变形例＞
第4变形例是如动作例的「§4作用/效果」中提及的那样，当机器人系统100的机器人10变更时，活用针对搭载了传感器1的某个机器人10预先取得的第1数据至第2数据来求出机器人10变更后的机器人系统100中的优化测量参数的方法的一例。即，例如，当在所述动作例的第1数据至第2数据的参数集中包含与变更后的机器人10的特性(机构参数)对应的条件(具体而言为，传感器1的移动速度V和时间间隔T)的情况下，从与该条件对应的第1数据至第2数据中选定满足规定的判定基准的数据的测量参数，并决定为变更后的不同机器人对多个工件5进行操作时的优化测量参数。由此，能够提供不依赖于机器人10而能够实现测量参数的优化的简单的方法。
＜5.5：第5变形例＞
第5变形例也是如动作例的「§4作用/效果」中提及的那样，当机器人系统100的机器人10变更时，活用针对搭载了传感器1的某个机器人10预先取得的第1数据至第2数据来求出机器人10变更后的机器人系统100中的优化测量参数的方法的一例。即，例如，如果在所述动作例的第1数据至第2数据的参数集中包含与变更后的机器人10的特性对应的条件，则可以将该条件下的结果用作关于变更后的机器人10的基本数据(第1数据)。然后，通过使用该基本数据执行与上述第2步骤至第4步骤相同的处理，无需对包含变更后的机器人10的机器人系统100进行新的事先测量，就能够进行测量参数的优化。这样，也能够提供不依赖于机器人10而能够实现测量参数的优化的简单的方法。
＜5.6：第6变形例＞
而且，作为第6变形例，图16示出测量形状与六角螺栓不同的多个工件5，并在它们的拍摄图像上重叠基于图像处理的工件5的位置姿势的识别结果(轮廓线)而显示的平面图。对于这样的各种工件5，通过应用本发明的测量参数的优化方法，也能够提高针对各种工件5的测量参数的优化的通用性。
§6附记
以上说明的实施方式以及变形例用于使本发明的理解变得容易，并不用于限定解释本发明。实施方式以及变形例所具有的各要素及其配置、材料、条件、形状以及尺寸等并不限定于例示的内容，可以适当变更。另外，也可以将不同的实施方式以及变形例所示的结构彼此部分地置换或组合。

Claims (10)

1.一种测量参数的优化方法，是通过设置于机器人的测量装置测量一个以上的对象物时的测量参数的优化方法，该测量参数的优化方法包含如下步骤：
第1步骤，在以作为第1测量参数的速度V、时间间隔T和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N的拍摄图像；
第2步骤，在假定以作为第2测量参数的速度V、时间间隔T×j和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N/j的拍摄图像，并且进行了识别所述一个以上的对象物的位置姿势的图像处理的情况下，估计该情况下的表示张数i的所述对象物的识别准确性的评价值Zi，将与所述第2测量参数相关联的评价值Zi作为第1数据进行存储，其中，j为1以上的整数，这里的i＝1，2，…，N/j-1，N/j；
第3步骤，在假定以作为第3测量参数的速度V×k、时间间隔T×j/k和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N/j/k的拍摄图像，并且进行了与所述图像处理同等的处理的情况下，根据所述第1数据估计该情况下的表示张数i的所述对象物的识别准确性的评价值Zi，将与所述第3测量参数相关联的评价值Zi作为第2数据进行存储，其中，k为2以上的整数，这里的i＝1，2，…，N/j/k-1，N/j/k；以及
第4步骤，从所述第2数据中选定满足规定的判定基准的数据的测量参数，决定为所述机器人对所述一个以上的对象物进行操作时的优化测量参数。
2.根据权利要求1所述的方法，其中，
所述规定的判定基准包含所述对象物的评价值Zi为预先设定的评价值以上的情况。
3.根据权利要求2所述的方法，其中，
所述规定的判定基准至少包含测量所需的时间更短的情况。
4.根据权利要求2或3所述的方法，其中，
所述规定的判定基准包含所述测量装置的移动的速度V更快的情况。
5.根据权利要求2或3所述的方法，其中，
所述规定的判定基准包含所述一个以上的对象物的拍摄张数i更少的情况。
6.根据权利要求1至3中的任意一项所述的方法，其中，
多次实施基于所述第1测量参数的所述一个以上的对象物的拍摄，将针对各拍摄取得的所述评价值Zi的平均值作为所述第1数据进行存储。
7.根据权利要求1至3中的任意一项所述的方法，其中，
在所述第1数据和所述第2数据中包含与如下的速度V和时间间隔T对应的测量参数所对应的数据的情况下，从该第1数据和该第2数据中选定满足规定的判定基准的数据的测量参数，决定为与所述机器人不同的机器人对多个所述对象物进行操作时的优化测量参数，其中，该情况下的所述速度V和时间间隔T是与所述不同的机器人的特性对应的。
8.根据权利要求1至3中的任意一项所述的方法，其中，
在所述第1数据和所述第2数据中包含与如下的速度V和时间间隔T对应的测量参数所对应的数据的情况下，将与该对应的数据的测量参数相关联的数据作为新的第1数据，实施所述第2步骤至所述第4步骤，从而取得并存储新的第2数据，从所述新的第2数据中选定满足规定的判定基准的数据的测量参数，决定为与所述机器人不同的机器人对多个所述对象物进行操作时的优化测量参数，其中，该情况下的所述速度V和时间间隔T是与所述不同的机器人的特性对应的。
9.一种测量参数的优化装置，是通过设置于机器人的测量装置测量一个以上的对象物时的测量参数的优化装置，
该装置具有至少一个处理器，该至少一个处理器执行如下步骤：
第1步骤，在以作为第1测量参数的速度V、时间间隔T和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N的拍摄图像；
第2步骤，在假定以作为第2测量参数的速度V、时间间隔T×j和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N/j的拍摄图像，并且进行了识别所述一个以上的对象物的位置姿势的图像处理的情况下，估计该情况下的表示张数i的所述对象物的识别准确性的评价值Zi，将与所述第2测量参数相关联的评价值Zi作为第1数据进行存储，其中，j为1以上的整数，这里的i＝1，2，…，N/j-1，N/j；
第3步骤，在假定以作为第3测量参数的速度V×k、时间间隔T×j/k和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N/j/k的拍摄图像，并且进行了与所述图像处理同等的处理的情况下，根据所述第1数据估计该情况下的表示张数i的所述对象物的识别准确性的评价值Zi，将与所述第3测量参数相关联的评价值Zi作为第2数据进行存储，其中，k为2以上的整数，这里的i＝1，2，…，N/j/k-1，N/j/k；以及
第4步骤，从所述第2数据中选定满足规定的判定基准的数据的测量参数，决定为所述机器人对所述一个以上的对象物进行操作时的优化测量参数。
10.一种计算机可读存储介质，其存储有计算机控制程序，该计算机控制程序为了进行通过设置于机器人的测量装置测量一个以上的对象物时的测量参数的优化而使具有至少一个处理器的计算机执行如下步骤：
第1步骤，在以作为第1测量参数的速度V、时间间隔T和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N的拍摄图像；
第2步骤，在假定以作为第2测量参数的速度V、时间间隔T×j和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N/j的拍摄图像，并且进行了识别所述一个以上的对象物的位置姿势的图像处理的情况下，估计该情况下的表示张数i的所述对象物的识别准确性的评价值Zi，将与所述第2测量参数相关联的评价值Zi作为第1数据进行存储，其中，j为1以上的整数，这里的i＝1，2，…，N/j-1，N/j；
第3步骤，在假定以作为第3测量参数的速度V×k、时间间隔T×j/k和合计移动角度θ使所述测量装置移动的同时，拍摄所述一个以上的对象物而取得多个张数N/j/k的拍摄图像，并且进行了与所述图像处理同等的处理的情况下，根据所述第1数据估计该情况下的表示张数i的所述对象物的识别准确性的评价值Zi，将与所述第3测量参数相关联的评价值Zi作为第2数据进行存储，其中，k为2以上的整数，这里的i＝1，2，…，N/j/k-1，N/j/k；以及
第4步骤，从所述第2数据中选定满足规定的判定基准的数据的测量参数，决定为所述机器人对所述一个以上的对象物进行操作时的优化测量参数。
CN202110187293.9A 2020-03-13 2021-02-18 测量参数的优化方法和装置以及计算机可读存储介质 Active CN113386122B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-044682 2020-03-13
JP2020044682 2020-03-13
JP2020-097760 2020-06-04
JP2020097760A JP7450857B2 (ja) 2020-03-13 2020-06-04 計測パラメータの最適化方法及び装置、並びに、コンピュータ制御プログラム

Publications (2)

Publication Number Publication Date
CN113386122A CN113386122A (zh) 2021-09-14
CN113386122B true CN113386122B (zh) 2023-12-22

Family

ID=77457411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110187293.9A Active CN113386122B (zh) 2020-03-13 2021-02-18 测量参数的优化方法和装置以及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11816754B2 (zh)
CN (1) CN113386122B (zh)
DE (1) DE102021103726B4 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257929B (zh) * 2016-05-20 2022-04-26 Abb瑞士股份有限公司 改进的工业物体处置机器人
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
DE102022206274A1 (de) 2022-06-22 2023-12-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern eines Roboters zum Manipulieren, insbesondere Aufnehmen, eines Objekts
CN117710396B (zh) * 2023-12-14 2024-06-14 安徽工布智造工业科技有限公司 一种基于3d点云的轻钢行业非标零件的识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017286A (ja) * 2003-06-06 2005-01-20 Mitsubishi Electric Corp カメラキャリブレーション方法およびカメラキャリブレーション装置
CN102421279A (zh) * 2010-09-24 2012-04-18 Juki株式会社 形状基础匹配参数的调整装置、调整方法及部件安装装置
CN105286893A (zh) * 2014-06-06 2016-02-03 西门子公司 用于运行具有触屏的图像拍摄装置的方法和图像拍摄装置
KR101976358B1 (ko) * 2017-10-31 2019-08-28 경희대학교 산학협력단 로봇의 안전성 향상 방법
CN110261385A (zh) * 2018-03-12 2019-09-20 欧姆龙株式会社 外观检查系统、图像处理装置、拍摄装置以及检查方法
CN110274538A (zh) * 2018-03-13 2019-09-24 欧姆龙株式会社 外观检查装置、外观检查方法以及程序
JP2019217570A (ja) * 2018-06-15 2019-12-26 株式会社東芝 情報処理装置、情報処理装置を備える荷降しシステム、及び情報処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008020579B4 (de) 2008-04-24 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
US20150294496A1 (en) 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
DE102016116702B4 (de) 2015-09-14 2019-01-24 Fanuc Corporation Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters
JP6235664B2 (ja) 2015-09-14 2017-11-22 ファナック株式会社 ロボットの機構パラメータを校正するために使用される計測装置
CN109414819A (zh) * 2016-01-08 2019-03-01 4D空间天才股份有限公司 用于自动化图像获取的机器人
US9914213B2 (en) 2016-03-03 2018-03-13 Google Llc Deep machine learning methods and apparatus for robotic grasping
DE202017106506U1 (de) 2016-11-15 2018-04-03 Google Llc Einrichtung für tiefes Maschinenlernen zum Robotergreifen
WO2019088681A1 (ko) 2017-10-31 2019-05-09 경희대학교산학협력단 로봇의 안전성 향상 및 안전성 평가 방법
EP3587044B1 (de) 2018-06-28 2021-05-19 Sick Ag Verfahren zum greifen von objekten in einem suchbereich und positioniersystem
DE102019206444A1 (de) 2019-05-06 2020-11-12 Kuka Deutschland Gmbh Maschinelles Lernen einer Objekterkennung mithilfe einer robotergeführten Kamera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017286A (ja) * 2003-06-06 2005-01-20 Mitsubishi Electric Corp カメラキャリブレーション方法およびカメラキャリブレーション装置
CN102421279A (zh) * 2010-09-24 2012-04-18 Juki株式会社 形状基础匹配参数的调整装置、调整方法及部件安装装置
CN105286893A (zh) * 2014-06-06 2016-02-03 西门子公司 用于运行具有触屏的图像拍摄装置的方法和图像拍摄装置
KR101976358B1 (ko) * 2017-10-31 2019-08-28 경희대학교 산학협력단 로봇의 안전성 향상 방법
CN110261385A (zh) * 2018-03-12 2019-09-20 欧姆龙株式会社 外观检查系统、图像处理装置、拍摄装置以及检查方法
CN110274538A (zh) * 2018-03-13 2019-09-24 欧姆龙株式会社 外观检查装置、外观检查方法以及程序
JP2019217570A (ja) * 2018-06-15 2019-12-26 株式会社東芝 情報処理装置、情報処理装置を備える荷降しシステム、及び情報処理プログラム

Also Published As

Publication number Publication date
US11816754B2 (en) 2023-11-14
CN113386122A (zh) 2021-09-14
DE102021103726B4 (de) 2022-12-29
US20210283782A1 (en) 2021-09-16
DE102021103726A1 (de) 2021-09-16

Similar Documents

Publication Publication Date Title
CN113386122B (zh) 测量参数的优化方法和装置以及计算机可读存储介质
CN110348279B (zh) 物体识别处理装置和方法、以及物体拣选装置和方法
US10551821B2 (en) Robot, robot control apparatus and robot system
JP5778311B1 (ja) ピッキング装置およびピッキング方法
US10377581B2 (en) Article conveying device using at least one sensor
US9233469B2 (en) Robotic system with 3D box location functionality
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
JP5977544B2 (ja) 情報処理装置、情報処理方法
US20180290307A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP7376268B2 (ja) 三次元データ生成装置及びロボット制御システム
CN111683798A (zh) 工件拾取装置以及工件拾取方法
JP6576050B2 (ja) 物体移動方法及びシステム
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
US11446822B2 (en) Simulation device that simulates operation of robot
CN113538459A (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP5458807B2 (ja) 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム
JP2006224291A (ja) ロボットシステム
EP4094904B1 (en) Robot system control device, robot system control method, computer control program, and robot system
US20240003675A1 (en) Measurement system, measurement device, measurement method, and measurement program
JP7450857B2 (ja) 計測パラメータの最適化方法及び装置、並びに、コンピュータ制御プログラム
JP7134413B2 (ja) 計測装置、計測方法、及び計測プログラム
JP7415013B2 (ja) ロボットの構成部材の干渉を検出するロボット装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant