CN108568804A - 机器人系统、测量数据处理装置及测量数据处理方法 - Google Patents

机器人系统、测量数据处理装置及测量数据处理方法 Download PDF

Info

Publication number
CN108568804A
CN108568804A CN201810194905.5A CN201810194905A CN108568804A CN 108568804 A CN108568804 A CN 108568804A CN 201810194905 A CN201810194905 A CN 201810194905A CN 108568804 A CN108568804 A CN 108568804A
Authority
CN
China
Prior art keywords
data
measurement
workpiece
posture
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810194905.5A
Other languages
English (en)
Other versions
CN108568804B (zh
Inventor
佐藤大雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN108568804A publication Critical patent/CN108568804A/zh
Application granted granted Critical
Publication of CN108568804B publication Critical patent/CN108568804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种机器人系统、测量数据处理装置及测量数据处理方法，机器人系统具备：机器人(1)；传感器(5)；测量数据处理装置(3b)，其包括将工件(4)的三维形状作为模型数据来存储的模型数据存储部(31)、通过机器学习校正测量数据的测量数据校正部(33)以及对照测量数据和模型数据来计算作业区域内的工件的位置和姿势的位置姿势计算部(32)；以及机器人控制部(3a)，其基于位置姿势计算部的输出控制机器人，测量数据校正部在学习阶段通过对位置姿势计算部所计算出的位置和姿势配置模型数据来制作教师数据，并基于测量数据和教师数据，调整校正测量数据的参数；在取出阶段输出利用调整后的参数校正测量数据而得的校正测量数据。

Description

机器人系统、测量数据处理装置及测量数据处理方法
技术领域
本发明涉及一种利用通过机器学习校正后的测量数据进行工件的取出的机器人系统、测量数据处理装置及测量数据处理方法。
背景技术
过去，已知例如通过机器人取出散乱堆积在集装箱等容器内的物品(散乱堆积在三维空间的工件)的系统(散乱堆积物取出系统、机器人系统)。在这样的散乱堆积物取出系统中，例如，通过由传感器测量并获取集装箱内的三维形状数据，并根据集装箱内的三维形状数据确定工件的位置和姿势来实现基于机器人的取出。
另外，在机器人系统的散乱堆积物取出中，例如有可能在为取出工件而使机器人的手接近工件的动作过程中，发生手与集装箱或其他工件的碰撞。因此，为避免这样的碰撞，也使用传感器所测量的三维形状数据。
过去，例如日本特开2016-132086号公报公开了一种对照测量数据和所积累的数据来计算工件的位置和姿势的技术。另外，过去，例如日本特开2009-128192号公报公开了一种通过基于模型(模型数据)反复校正来高精度地计算物体的位置和姿势的技术。进一步地，过去，例如日本特开2013-010155号公报公开了一种通过应用机器学习来生成对照数据的技术。另外，过去，例如《Chao Dong et al.，"Image Super-Resolution Using DeepConvolutional Networks，"IEEE Transactions on Pattern Analysis and MachineIntelligence(https://arxiv.org/abs/1501.00092)，July 31，2015.》公开了一种校正使用深层学习而得的获取数据的技术。
如上所述，在对照测量数据和所积累的数据来计算工件的位置和姿势的情况下，例如，若测量数据有误差，则将无法高精度地进行对照。另外，在把持工件时周围的构造物(集装箱等)和把持机构(手等)的碰撞的判定中使用测量数据，但如果测量数据中含有误差，则将难以正确地进行碰撞判定。
另外，在基于模型反复校正来计算物体的位置和姿势的情况下，也难以降低与测量数据本身的误差对应的比例。进一步地，过去的机器学习的应用例如利用于生成对照数据。
因此，在现有的机器人系统和测量数据处理技术中，存在在取出散乱堆积的工件的情况下，机器人的手与集装箱或其他工件碰撞的课题。另外，还存在为避免发生这样的碰撞，对本来可以取出的工件当作不能取出的工件而不进行取出动作，导致作业效率下降的课题。
发明内容
鉴于上述现有技术的课题，本发明的目的在于，提供一种能够通过校正测量数据本身，来提高工件的取出精度的机器人系统、测量数据处理装置及测量数据处理方法。
根据本发明的第一方式，提供一种机器人系统，具备：机器人，其具有能够保持工件的手；传感器，其测量所述工件所存在的作业区域，并将所述作业区域内的三维形状作为测量数据来获取；测量数据处理装置，其包括将所述工件的三维形状作为模型数据来存储的模型数据存储部、通过机器学习来校正所述测量数据的测量数据校正部以及对照所述测量数据和所述模型数据来计算所述作业区域内的所述工件的位置和姿势的位置姿势计算部；以及机器人控制部，其基于所述位置姿势计算部的输出控制所述机器人，在学习阶段，所述测量数据校正部通过对所述位置姿势计算部所计算出的位置和姿势配置所述模型数据来制作教师数据，并基于所述测量数据和所述教师数据，对校正所述测量数据的参数进行调整；在取出阶段，所述测量数据校正部输出利用调整后的所述参数校正所述测量数据而得的校正测量数据。
根据本发明的第二方式，提供一种测量数据处理装置，具备：模型数据存储部，其将工件的三维形状作为模型数据来存储；测量数据校正部，其通过机器学习来校正测量所述工件所存在的作业区域内的三维形状而得的测量数据；以及位置姿势计算部，其对照所述测量数据和所述模型数据来计算所述作业区域内的所述工件的位置和姿势，在学习阶段，所述测量数据校正部通过对所述位置姿势计算部所计算出的位置和姿势配置所述模型数据来制作教师数据，并基于所述测量数据和所述教师数据，对校正所述测量数据的参数进行调整，在取出阶段，所述测量数据校正部输出利用调整后的所述参数校正所述测量数据而得的校正测量数据。
根据本发明的第三方式，提供一种测量数据处理方法，包括以下处理：将工件的三维形状作为模型数据来存储；通过机器学习来校正测量所述工件所存在的作业区域内的三维形状而得的测量数据；以及对照所述测量数据和所述模型数据来计算所述作业区域内的所述工件的位置和姿势，在学习阶段，通过对所计算的所述作业区域内的所述工件的位置和姿势配置所述模型数据来制作教师数据，并基于所述测量数据和所述教师数据，对校正所述测量数据的参数进行调整，在取出阶段，输出利用调整后的所述参数校正所述测量数据而得的校正测量数据。
附图说明
通过参照下面的附图，可以更清楚地理解本发明。
图1是示意性地示出机器人系统的一例的图。
图2A、图2B以及图2C是用于说明机器人系统的测量数据中的课题的一例的图。
图3A、图3B以及图3C是用于说明机器人系统的测量数据中的课题的另一例的图。
图4是示出本实施方式的机器人系统中的机器人控制装置的一例的功能框图。
图5是示意性地示出设置于本实施方式的测量数据处理装置的机器学习器的一例的图。
图6是用于说明学习阶段的处理的一例的流程图。
图7是用于说明取出阶段的处理的一例的流程图。
图8是用于说明取出阶段的处理的另一例的流程图。
图9是用于说明边进行取出作业边更新学习模型的处理的一例的流程图。
具体实施方式
首先，在详细描述机器人系统、测量数据处理装置及测量数据处理方法的实施方式之前，参照图1～图3C，对机器人系统的一例和机器人系统的测量数据处理中的课题进行说明。图1是示意性地示出机器人系统的一例的图。
如图1所示，机器人系统100例如顺序地取出散乱堆积在集装箱40等收容物内的多个工件(部件)4，包括机器人1、传感器5、机器人控制装置3。此外，当然，工件4不限于收纳在集装箱中，例如，也可以散乱堆积在三维空间中。
在机器人1的侧方配置有上面被敞开的箱形状的集装箱40。集装箱40的上面被开口，在集装箱40内的收容空间中收纳有散乱堆积的多个工件(包括散乱堆积的状态的杂乱放置的多个工件)4。此外，工件4能够被安装在机器人1的手10保持，通过由机器人控制装置3控制的机器人1和手10的动作，能够从集装箱40逐个取出工件4。另外，在集装箱40的中央部上方设置有传感器5，传感器5的输出(测量数据)5a被输入至机器人控制装置3。
此处，在图1中，为简化说明，示出了在集装箱40内散乱堆积有4个圆盘形状的工件4的状态下，通过手(内径卡盘)10保持各工件4的中央部的孔的例子，但工件4的形状不限于圆盘形状，另外，工件4的保持机构也不限于内径卡盘。即，手10只要能够保持工件4，则可以具有多种形态，例如可以是通过开闭2个或多个爪部来把持工件4的形态，或者也可以具备对工件4产生吸引力的电磁铁或负压产生装置。
进一步地，传感器5只要能够获取测量区域内的三维形状数据，则也可以是以视觉传感器为代表的多种传感器。另外，为测量三维形状，例如可以应用各种方法，如两台摄像机的立体方式、扫描激光裂隙光的方式、扫描激光光斑光的方式、利用投影仪等装置向工件投影图案光的方式、利用从投光器出射光至在工件4的表面反射并入射至光接收器的时间的方式等，另外，可以应用三角测量法、光切断法、飞行时间(Time-of-flight)法、离焦深度(Depth from Defocus)法、或并用这些方法的方法。
此外，在图1中，传感器5的输出(测量数据)5a被输入至机器人控制装置3，并在机器人控制装置3中进行测量数据处理等，但也可以构成为，传感器5的输出5a由与机器人控制装置3另行设置的专用测量数据处理装置等处理，并将该测量数据处理装置的输出输入至机器人控制装置3。进一步地，传感器5固定设置于集装箱40的中央部上方，但也可以例如作为安装在机器人1的手尖(前端部)的手眼而设置。
如此，在图1所示的机器人系统100中，机器人控制装置3基于散乱堆积的多个工件4的三维位置和姿势以及测量集装箱40的三维形状等的传感器5的输出5a，计算通过机器人1的内径卡盘10保持工件4的位置和姿势的保持位置姿势数据，并控制机器人1和内径卡盘10来逐个取出工件4。
图2A～图2C是用于说明机器人系统的测量数据处理中的课题的一例的图，图3A～图3C是用于说明机器人系统的测量数据处理中的课题的另一例的图。此处，图2A以及图3A示出测量区域(作业区域)WA的图像，图2B和图3B示出基于传感器5的作业区域WA的测量数据5a的例子。另外，图2C是示出从箭头方向观测图2B的测量数据5a的样子的图，图3C是放大示出图3B的测量数据5a中的一部分的图。
例如，在如图2B所示的作业区域WA(集装箱40内)散乱堆积有多个工件4的状态，作为如图2B所示的传感器5的测量数据5a来获得。此时，如图2C所示，测量数据5a中，例如，工件4的平坦的面的测量点具有误差(厚度)地被测量，例如，与基于CAD(Computer-AidedDesign，计算机辅助设计)的数据一致的比例下降，因低于作为检测结果所容许的一致的阈值等而未检测出工件，或工件4的取出变得困难。
另外，例如，在如图3A所示的作业区域WA散乱堆积有多个工件4的状态，作为如图3B所示的传感器5的测量数据5a来获得。此时，如图3C所示，测量数据5a中，在工件4的边界附近，观测到边界模糊，例如，在取出工件4时判断为机器人1的手10与被观测为模糊的边界的测量点碰撞的情况下，将本来可以取出的工件4当作不能取出来处理，其结果是，可能导致生产效率的下降等。
下面，参照附图对本实施方式的机器人系统、测量数据处理装置及测量数据处理方法进行详细描述。图4是示出本实施方式的机器人系统中的机器人控制装置的一例的功能框图。此外，本实施方式的机器人系统相当于参照图1说明的机器人系统，然而，例如在机器人控制装置3中，与控制机器人1的动作的机器人控制部3a一同内置有实现下面详细描述的多种功能的测量数据处理装置3b。此处，显然，如参照图1所说明的那样，机器人1的手10只要能够保持工件，则可以具有多种形态，另外，传感器5也可以是多种方式的传感器。
进一步地，显而易见地，测量数据处理装置3b不限于内置于机器人控制装置3，例如也可以作为测量数据处理装置3b单独地设置，或设置于别的控制装置等中。另外，图4所示的测量数据处理装置3b中包括的各功能框，例如可以在包括MPU(Micro-processingunit，微处理器)、ROM(Read Only Memory，只读存储器)以及RAM(Random access memory，随机存取存储器)等的计算机上通过软件来实现。另外，测量数据校正部33相当于进行机器学习(监督学习)的机器学习器2。
即，如同参照图1说明的那样，本实施方式的机器人系统100包括：机器人1，其具有能够保持工件4的手10；传感器5，其测量工件所存在的作业区域WA，并将该作业区域内的三维形状作为测量数据5a来获取；以及机器人控制装置3。此外，显而易见地，在机器人控制装置3上，例如也可以连接有对机器人1进行示教的示教操作盘(教导盒)或显示装置等多种装置。
如图4所示，机器人控制装置3例如包括机器人控制部3a和测量数据处理装置3b，测量数据处理装置3b包括模型数据存储部31、位置姿势计算部32、测量数据校正部33、手形状存储部34、碰撞判定部35以及保持判定部36。模型数据存储部31将工件的三维形状作为模型数据来存储，位置姿势计算部32对照测量数据和模型数据，并计算作业区域内的工件的位置和姿势。此处，碰撞判定部35和测量数据校正部33也可以不设置于机器人控制装置3内，而是例如作为外接装置。
测量数据校正部33例如通过机器学习(监督学习)校正测量数据。即，例如，在进行学习的学习阶段，测量数据校正部33通过对位置姿势计算部32所计算出的位置和姿势配置模型数据来制作教师数据，并基于测量数据和教师数据，调整校正测量数据的参数。进一步地，例如，在实际取出工件的取出阶段，测量数据校正部33输出利用调整后的参数校正测量数据而得的校正测量数据。此外，机器人控制部3a基于测量数据校正部33的输出控制机器人1。
手形状存储部34存储手10的形状数据，碰撞判定部35基于手的形状数据和校正测量数据判定有无工件的保持位置和姿势下的碰撞。此外，测量数据校正部33也可以包括输入接受部331，其输入是否将位置姿势计算部32的输出结果作为教师数据来使用。此处，在学习阶段，使用通过由接受部331给予的教师数据来进行校正测量数据的参数的调整。保持判定部36判定工件的保持的成败。另外，在学习阶段，保持成功的工件的区域也可以作为教师数据被输入至测量数据校正部33，并进行校正测量数据的参数的调整。
在以上描述中，如图1所示，工件4例如也可以是散乱堆积在作业区域WA内的多个工件。另外，传感器5也可以是固定于能够拍摄作业区域的位置，或设置于机器人1的前端的视觉传感器。如此，根据本实施方式的机器人系统100，能够通过校正测量数据本身来提高工件的取出精度。
图5是示意性地示出设置于本实施方式的测量数据处理装置的机器学习器的一例的图。如图5所示，机器学习器2例如相当于测量数据处理装置3b中的测量数据校正部33，在学习阶段，其通过对位置姿势计算部32所计算的位置和姿势配置模型数据来制作教师数据，并基于测量数据和教师数据，调整校正测量数据的参数。此外，如前所述，测量数据处理装置3b(机器学习器2)可以内置于设置有机器人控制部3a的机器人控制装置3，但也可以例如与机器人控制装置3另行设置。
机器学习器2进行监督学习，其包括状态观测部21、学习部22以及教师数据获取部23。此处，所谓的监督学习是通过向机器学习器2大量地给予教师数据，即某种输入和结果(教师数据)的集合，来学习这些数据集中的特征，并调整校正测量数据的参数。
状态观测部21例如将基于传感器5的测量数据5a的数据作为状态变量来观测，教师数据获取部23获取工件4的教师数据(通过将模型数据配置于位置姿势计算部32所输出的位置和姿势来制作的数据)。学习部22基于状态观测部21的输出(状态变量)和教师数据获取部23的输出(教师数据)，制作用于调整校正测量数据5a的参数的学习模型。此处，作为教师数据，例如可以使用基于作业区域WA内的工件4的位置和姿势的该工件4的CAD数据。
输出利用部20利用机器学习器2的输出，例如对应于前述的图4中的碰撞判定部35，如前所述，可以与对应于机器学习器2的测量数据校正部33一同设置为外置的装置。
在机器学习器2中获得的学习模型可以在至少一个别的机器学习器2中利用。即，测量数据校正部33也可以构成为，能够与至少一个别的测量数据处理装置中的测量数据校正部(别的测量数据校正部)连接(通信)，并互相交换或共享通过测量数据校正部33调整后的参数。另外，也可以不对控制各个机器人1的机器人控制装置3(边缘)设置机器学习器2(测量数据校正部33)，而是也可以例如对具有多个机器人1(机器人系统100)的每个工厂(例如，雾服务器)设置，或设置于经由因特网等通信线路与多个工厂连接的云服务器。此外，机器学习器2例如可以使用多层结构的神经网络来构成。该机器学习器2也可以利用通用计算机或处理器，但若例如应用GPGPU(General-Purpose computing on GraphicsProcessing Units，通用计算图形处理单元)或大规模PC集群等，则能够更高速地处理。
图6是用于说明学习阶段中的处理的一例的流程图。如图6所示，若学习阶段中的处理的一例开始，则在步骤ST11中，例如，获取传感器(视觉传感器)5的测量数据5a，并进入步骤ST12。此处，在步骤ST11获取的测量数据可以是一次测量的结果的数据，但例如也可以是对多个工件的装载状态进行多次测量的结果的多个数据。
在步骤ST12，计算工件的位置和姿势(进行位置姿势计算)，并进入步骤ST13。此外，在步骤ST12进行的位置姿势计算也可以是对一个测量数据的一次计算，但也可以例如是对多个测量数据的多次计算。在步骤ST13，生成教师数据，进入步骤ST14，调整校正参数后结束处理。
即，在步骤ST13，由机器学习器2制作用于进行监督学习的教师数据，但该教师数据例如基于工件的位置、姿势和工件的模型数据(例如，工件的CAD数据)来制作。另外，步骤ST14中的校正参数的调整，例如相当于前述的图4中的测量数据校正部33的处理或图5中的机器学习器2的监督学习的处理。此处，步骤ST14的处理例如仅使用教师数据所存在的区域来进行学习，即，对在步骤ST12计算出的位置和姿势虚拟地配置模型数据，届时，仅对所配置的模型数据所存在的区域进行学习。
图7是用于说明取出阶段中的处理的一例的流程图。如图7所示，若取出阶段中的处理的一例开始，则在步骤ST21中获取测量数据，进入步骤ST22，进行测量数据的校正，即，使用在上述步骤ST14中的学习阶段被调整后的参数(校正参数)的测量数据的校正。
进一步地，进入步骤ST23，进行工件的位置姿势计算。即，在步骤ST23，使用被校正后的测量数据(校正测量数据)计算工件的位置和姿势。然后，进入步骤ST24，进行工件的取出。即，在步骤ST24，对在步骤ST23中计算出位置和姿势的工件，由机器人控制装置3(机器人控制部3a)控制机器人1和手10来保持工件。由此，例如可以使工件4的位置和姿势明确化来使工件的检测稳定化，能够提高工件取出的成功率。
图8是用于说明取出阶段中的处理的另一例的流程图。如图8所示，若取出阶段中的处理的另一例开始，则在步骤ST31中获取测量数据，并进入步骤ST32，来进行测量数据的校正。进一步地，进入步骤ST33，进行工件的位置姿势计算。此处，图8中的步骤ST31～ST33的处理与图7中的步骤ST21～ST23的处理相同。
接下来，进入步骤ST34来判定有无进行取出的位置和姿势下的碰撞，并进入步骤ST35。在步骤ST35，基于校正后的测量数据和手的形状数据，判定有无计算出位置姿势(位置和姿势)的工件的保持位置姿势下的碰撞。若在步骤ST35判定为有工件的保持位置姿势下的碰撞，则返回至步骤ST33，例如获取另外的工件的位置姿势来进行相同的处理。
另一方面，若在步骤ST35中判定为没有工件的保持位置姿势下的碰撞，则进入步骤ST36，进行工件的取出并结束处理。由此，例如在准确地判定工件的取出动作过程中的碰撞来减少未取工件的同时，能够减少误测量导致的工件的取出动作过程中的手与集装箱或另外的工件的碰撞等。
图9是用于说明边进行取出作业边更新学习模型的处理的一例的流程图。如图9所示，若包括学习的取出阶段中的处理的一例开始，则在步骤ST41中获取测量数据，并进入步骤ST42，来进行测量数据的校正。此处，就步骤ST42中的测量数据的校正而言，例如，由于在首次处理中未保存调整后的参数，因而预先进行学习阶段的处理，或使用预先设定的初始参数来校正测量数据。此外，在使用初始参数的情况下，也可以不事先进行学习阶段的处理。
接下来，进入步骤ST43，来进行工件的位置姿势计算，并进入步骤ST44，取出工件，并进入步骤ST45。在步骤ST45，判定工件的取出是否成功，若判定为工件的取出未成功(失败)，则返回至步骤ST41，再次获取作业区域的测量数据，并重复相同的处理。
另一方面，若在步骤ST45中判定为工件的取出成功，则进入步骤ST46，来生成用于学习的教师数据。即，对取出成功的工件，根据工件的位置姿势和工件的模型数据(CAD数据)生成教师数据。然后，进入步骤ST47，调整(更新)校正参数并结束处理。此外，针对各个工件的取出作业进行上述步骤ST41～ST47的处理。由此，能够实际上边进行工件的取出作业边进行校正测量数据的参数的调整。
如上所述，根据本实施方式的机器人系统、测量数据处理装置及测量数据处理方法，能够通过校正测量数据本身来提高工件的取出精度。
根据本发明的机器人系统、测量数据处理装置及测量数据处理方法，通过校正测量数据本身，起到能够提高工件的取出精度的效果。
以上，对实施方式进行了说明，但这里所记载的所有例子或条件是以促进发明和技术中所应用的发明的概念的理解的目的而记载的，且特殊记载的例子或条件并不意欲限制发明的范围。另外，说明书的记载并不用于提示发明的优点和缺点。尽管对发明的实施方式进行了详细记载，但可以理解的是，在不脱离发明的主旨和范围的前提下，可以进行各种变更、置换、变形。

Claims (15)

1.一种机器人系统，其特征在于，具备：
机器人，其具有能够保持工件的手；
传感器，其测量所述工件所存在的作业区域，并将所述作业区域内的三维形状作为测量数据来获取；
测量数据处理装置，其包括将所述工件的三维形状作为模型数据来存储的模型数据存储部、通过机器学习来校正所述测量数据的测量数据校正部以及对照所述测量数据和所述模型数据来计算所述作业区域内的所述工件的位置和姿势的位置姿势计算部；以及
机器人控制部，其基于所述位置姿势计算部的输出控制所述机器人，
在学习阶段，所述测量数据校正部通过对所述位置姿势计算部所计算出的位置和姿势配置所述模型数据来制作教师数据，并基于所述测量数据和所述教师数据，对校正所述测量数据的参数进行调整；
在取出阶段，所述测量数据校正部输出利用调整后的所述参数校正所述测量数据而得的校正测量数据。
2.根据权利要求1所述的机器人系统，其特征在于，
所述测量数据处理装置还具备：
手形状存储部，其存储所述手的形状数据；以及
碰撞判定部，其基于所述手的形状数据和所述校正测量数据，判定有无所述工件的保持位置和姿势下的碰撞。
3.根据权利要求1或2所述的机器人系统，其特征在于，
所述测量数据校正部具备输入接受部，其输入是否将所述位置姿势计算部的输出结果用作所述教师数据，
在所述学习阶段，所述测量数据校正部使用通过所述输入接受部给予的所述教师数据，对校正所述测量数据的所述参数进行调整。
4.根据权利要求1至3中任一项所述的机器人系统，其特征在于，
所述测量数据处理装置还具备保持判定部，其判定所述工件的保持的成败，
在所述学习阶段，所述测量数据处理装置将通过对保持成功时计算出的位置和姿势配置所述模型数据来制作的所述教师数据输入至所述测量数据校正部，并对校正所述测量数据的所述参数进行调整。
5.根据权利要求1至4中任一项所述的机器人系统，其特征在于，
所述工件包括散乱堆积在所述作业区域内的多个工件，
所述传感器包括视觉传感器，其固定于能够拍摄所述作业区域的位置，或设置于所述机器人的前端。
6.根据权利要求1至5中任一项所述的机器人系统，其特征在于，
所述测量数据处理装置内置于包括所述机器人控制部的机器人控制装置。
7.一种测量数据处理装置，其特征在于，具备：
模型数据存储部，其将工件的三维形状作为模型数据来存储；
测量数据校正部，其通过机器学习来校正测量所述工件所存在的作业区域内的三维形状而得的测量数据；以及
位置姿势计算部，其对照所述测量数据和所述模型数据来计算所述作业区域内的所述工件的位置和姿势，
在学习阶段，所述测量数据校正部通过对所述位置姿势计算部所计算出的位置和姿势配置所述模型数据来制作教师数据，并基于所述测量数据和所述教师数据，对校正所述测量数据的参数进行调整，
在取出阶段，所述测量数据校正部输出利用调整后的所述参数校正所述测量数据而得的校正测量数据。
8.根据权利要求7所述的测量数据处理装置，其特征在于，
所述测量数据处理装置还具备：
手形状存储部，其存储能够保持所述工件的机器人的手的形状数据；以及
碰撞判定部，其基于所述手的形状数据和所述校正测量数据，判定有无所述工件的保持位置和姿势下的碰撞。
9.根据权利要求7或8所述的测量数据处理装置，其特征在于，
所述测量数据校正部具备输入接受部，其输入是否将所述位置姿势计算部的输出结果用作所述教师数据，
在所述学习阶段，使用通过所述输入接受部给予的所述教师数据，来对校正所述测量数据的所述参数进行调整。
10.根据权利要求7至9中任一项所述的测量数据处理装置，其特征在于，
所述测量数据处理装置还具备：
保持判定部，其判定所述工件的保持的成败，
在所述学习阶段，所述测量数据处理装置将通过对保持成功时计算出的位置和姿势配置所述模型数据来制作的所述教师数据输入至所述测量数据校正部，并对校正所述测量数据的所述参数进行调整。
11.根据权利要求7至10中任一项所述的测量数据处理装置，其特征在于，
使用多层构造的神经网络来构成所述测量数据校正部。
12.根据权利要求7至11中任一项所述的测量数据处理装置，其特征在于，
所述测量数据校正部能够与至少一个其他测量数据处理装置中的测量数据校正部连接，并在与至少一个所述其他测量数据处理装置中的测量数据校正部之间互相交换或共享通过所述测量数据校正部调整后的所述参数。
13.一种测量数据处理方法，包括以下处理：
将工件的三维形状作为模型数据来存储；
进行通过机器学习来校正测量所述工件所存在的作业区域内的三维形状而得的测量数据的测量数据校正；以及
对照所述测量数据和所述模型数据来计算所述作业区域内的所述工件的位置和姿势，
所述测量数据处理方法的特征在于，
在学习阶段，通过对所计算的所述作业区域内的所述工件的位置和姿势配置所述模型数据来制作教师数据，并基于所述测量数据和所述教师数据，对校正所述测量数据的参数进行调整，
在取出阶段，输出利用调整后的所述参数校正所述测量数据而得的校正测量数据。
14.根据权利要求13所述的测量数据处理方法，其特征在于，
输入是否将所计算出的所述位置和姿势用作所述教师数据，
在所述学习阶段，基于用作所述教师数据而输入的该教师数据，对校正所述测量数据的所述参数进行调整。
15.根据权利要求13或14所述的测量数据处理方法，其特征在于，还包括以下处理：
判定所述工件的保持的成败；以及
在所述学习阶段，基于通过对保持成功时计算出的位置和姿势配置所述模型数据来制作的所述教师数据，对校正所述测量数据的所述参数进行调整。
CN201810194905.5A 2017-03-13 2018-03-09 机器人系统、测量数据处理装置及测量数据处理方法 Active CN108568804B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017047459A JP6438512B2 (ja) 2017-03-13 2017-03-13 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP2017-047459 2017-03-13

Publications (2)

Publication Number Publication Date
CN108568804A true CN108568804A (zh) 2018-09-25
CN108568804B CN108568804B (zh) 2019-06-18

Family

ID=63258958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194905.5A Active CN108568804B (zh) 2017-03-13 2018-03-09 机器人系统、测量数据处理装置及测量数据处理方法

Country Status (4)

Country Link
US (1) US10350752B2 (zh)
JP (1) JP6438512B2 (zh)
CN (1) CN108568804B (zh)
DE (1) DE102018001781B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110228068A (zh) * 2019-06-14 2019-09-13 广西科技大学 一种机器人平面作业点快速定位系统及其快速定位方法
CN111216122A (zh) * 2018-11-27 2020-06-02 丰田自动车株式会社 把持机器人及把持机器人的控制程序
CN112414299A (zh) * 2019-08-22 2021-02-26 纳博特斯克有限公司 信息处理系统、信息处理方法以及建筑机械

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
JP6542839B2 (ja) * 2017-06-07 2019-07-10 ファナック株式会社 制御装置及び機械学習装置
AT520957A1 (de) * 2018-03-09 2019-09-15 Tgw Logistics Group Gmbh Robotersystem zur Prüfung eines Laderaums eines Ladehilfsmittels in einem Lager- und Kommissioniersystem und Betriebsverfahren hierfür
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
DE112018007729B4 (de) * 2018-06-14 2022-09-08 Yamaha Hatsudoki Kabushiki Kaisha Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem
JP2020052032A (ja) * 2018-09-21 2020-04-02 ファナック株式会社 撮像装置及び撮像システム
DE102019124809A1 (de) 2018-09-21 2020-03-26 Fanuc Corporation Bildgebungsvorrichtung und Bildgebungssystem
JP6990859B2 (ja) * 2018-09-28 2022-01-12 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
JP6508691B1 (ja) 2018-10-15 2019-05-08 株式会社Ｍｕｊｉｎ 制御装置、作業ロボット、プログラム、及び、制御方法
JP7097799B2 (ja) 2018-11-21 2022-07-08 Thk株式会社 画像情報処理装置、把持システム、および画像情報処理方法
JP6904327B2 (ja) * 2018-11-30 2021-07-14 オムロン株式会社 制御装置、制御方法、及び制御プログラム
JP6908642B2 (ja) * 2019-02-25 2021-07-28 ファナック株式会社 レーザ加工装置
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
DE102019121889B3 (de) * 2019-08-14 2020-11-19 Robominds GmbH Automatisierungssystem und Verfahren zur Handhabung von Produkten
JP7295421B2 (ja) * 2019-08-22 2023-06-21 オムロン株式会社 制御装置及び制御方法
US20210064981A1 (en) * 2019-08-26 2021-03-04 International Business Machines Corporation Controlling performance of deployed deep learning models on resource constrained edge device via predictive models
JP7021158B2 (ja) * 2019-09-04 2022-02-16 株式会社東芝 ロボットシステムおよび駆動方法
EP4032663A4 (en) * 2019-09-18 2022-08-31 Fuji Corporation WORK ROBOT AND WORK SYSTEM
US11389957B2 (en) 2019-09-30 2022-07-19 Mitsubishi Electric Research Laboratories, Inc. System and design of derivative-free model learning for robotic systems
EP4043159A4 (en) * 2019-10-11 2022-12-07 Panasonic Intellectual Property Management Co., Ltd. IDENTIFIER MANAGEMENT METHOD, ROBOT CONTROL DEVICE AND INTEGRATED CONTROL DEVICE
EP3839443B1 (de) * 2019-12-16 2022-06-08 Sick Ag Gebervorrichtung und verfahren zur bestimmung einer kinematischen grösse
US20220035334A1 (en) * 2020-07-29 2022-02-03 Abb Schweiz Ag Technologies for producing training data for identifying degradation of physical components
CN112123350B (zh) * 2020-09-27 2024-01-30 深圳市界面科技有限公司 一种木器加工装置的控制系统及控制方法
DE102021104001B3 (de) 2021-02-19 2022-04-28 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zum automatischen Ergreifen, insbesondere Umsetzen, von Gegenständen

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111701A (ja) * 1996-10-05 1998-04-28 Ricoh Co Ltd 学習型自動セル装置と学習方法
KR100752098B1 (ko) * 2006-03-07 2007-08-24 한국과학기술연구원 신경망 기반 로봇 시스템
CN101291784A (zh) * 2005-10-18 2008-10-22 莫菲克科技股份公司 用于定位和从载体拾取物体的方法和设备
US20120059517A1 (en) * 2010-09-07 2012-03-08 Canon Kabushiki Kaisha Object gripping system, object gripping method, storage medium and robot system
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106078748A (zh) * 2016-06-13 2016-11-09 北京理工大学 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法
CN106204620A (zh) * 2016-07-21 2016-12-07 清华大学 一种基于微视觉的触觉三维力检测方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
JPH10315174A (ja) * 1997-05-14 1998-12-02 Meidensha Corp ハンド衝突検査方法及びハンド衝突検査方法を実現するソフトウェアを記録した記録媒体ならびにハンド衝突検査装置
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP5380792B2 (ja) 2007-06-15 2014-01-08 株式会社Ｉｈｉ 物体認識方法および装置
JP5104248B2 (ja) 2007-11-22 2012-12-19 株式会社Ｉｈｉ 物体認識装置およびロボット装置
DE102007060653A1 (de) * 2007-12-15 2009-06-18 Abb Ag Positionsermittlung eines Objektes
EP2346650A1 (en) * 2008-08-29 2011-07-27 ABB Research Ltd. Compliant apparatus for the tool at the end of an arm of an industrial robot
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
DE112011103794B4 (de) * 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5533727B2 (ja) * 2011-02-18 2014-06-25 株式会社安川電機 ワークピッキングシステム
JP5835926B2 (ja) * 2011-04-11 2015-12-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP5852364B2 (ja) 2011-08-26 2016-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5623358B2 (ja) * 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
JP5806606B2 (ja) * 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
US9258550B1 (en) * 2012-04-08 2016-02-09 Sr2 Group, Llc System and method for adaptively conformed imaging of work pieces having disparate configuration
JP6074272B2 (ja) * 2013-01-17 2017-02-01 キヤノン株式会社 画像処理装置および画像処理方法
JP6192088B2 (ja) * 2013-02-20 2017-09-06 国立大学法人九州工業大学 物体検出方法および物体検出装置
JP5765355B2 (ja) * 2013-03-18 2015-08-19 株式会社安川電機 ロボットピッキングシステム及び被加工物の製造方法
JP2014205209A (ja) 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
CA2951523C (en) * 2013-06-11 2021-06-01 Somatis Sensor Solutions LLC Systems and methods for sensing objects
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
US9259844B2 (en) * 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
KR102081139B1 (ko) * 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6364856B2 (ja) * 2014-03-25 2018-08-01 セイコーエプソン株式会社 ロボット
JP6335806B2 (ja) 2015-01-22 2018-05-30 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9486921B1 (en) * 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
JP6548422B2 (ja) * 2015-03-27 2019-07-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6744709B2 (ja) * 2015-11-30 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111701A (ja) * 1996-10-05 1998-04-28 Ricoh Co Ltd 学習型自動セル装置と学習方法
CN101291784A (zh) * 2005-10-18 2008-10-22 莫菲克科技股份公司 用于定位和从载体拾取物体的方法和设备
KR100752098B1 (ko) * 2006-03-07 2007-08-24 한국과학기술연구원 신경망 기반 로봇 시스템
US20120059517A1 (en) * 2010-09-07 2012-03-08 Canon Kabushiki Kaisha Object gripping system, object gripping method, storage medium and robot system
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
CN106078748A (zh) * 2016-06-13 2016-11-09 北京理工大学 一种基于手、眼、臂协调操作的机器人抓取物体的控制方法
CN106204620A (zh) * 2016-07-21 2016-12-07 清华大学 一种基于微视觉的触觉三维力检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111216122A (zh) * 2018-11-27 2020-06-02 丰田自动车株式会社 把持机器人及把持机器人的控制程序
CN111216122B (zh) * 2018-11-27 2022-10-25 丰田自动车株式会社 把持机器人及把持机器人的控制程序
CN110228068A (zh) * 2019-06-14 2019-09-13 广西科技大学 一种机器人平面作业点快速定位系统及其快速定位方法
CN112414299A (zh) * 2019-08-22 2021-02-26 纳博特斯克有限公司 信息处理系统、信息处理方法以及建筑机械

Also Published As

Publication number Publication date
JP6438512B2 (ja) 2018-12-12
US20180257225A1 (en) 2018-09-13
CN108568804B (zh) 2019-06-18
US10350752B2 (en) 2019-07-16
JP2018149628A (ja) 2018-09-27
DE102018001781B4 (de) 2019-07-18
DE102018001781A1 (de) 2018-09-13

Similar Documents

Publication Publication Date Title
CN108568804B (zh) 机器人系统、测量数据处理装置及测量数据处理方法
US10603790B2 (en) Workpiece picking device and workpiece picking method for improving picking operation of workpieces
KR102615196B1 (ko) 객체 검출 모델 트레이닝 장치 및 방법
US10981272B1 (en) Robot grasp learning
Landry et al. CELLO-3D: Estimating the Covariance of ICP in the Real World
CN106461383B (zh) 机器人臂/传感器/工作区系统的自动现场配准和校准
CN103381436B (zh) 用来测量板材的弯曲角度的设备和方法
CN105528571A (zh) 区域信息估计装置、区域信息估计方法以及空调装置
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP6994950B2 (ja) 画像認識システムおよびニューラルネットワークの学習方法
US11132531B2 (en) Method for determining pose and for identifying a three-dimensional view of a face
JPWO2021124445A1 (ja) 情報処理装置、ワーク認識装置およびワーク取り出し装置
KR102228939B1 (ko) 3차원 자동 스캔 시스템 및 방법
CN110378246A (zh) 地面检测方法、装置、计算机可读存储介质及电子设备
CN109146866A (zh) 机器人对焊缝处理的方法及装置
CN111279353B (zh) 用于确定眼睛的姿势的方法和系统
JP2020118575A (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN112541897A (zh) 一种基于人工智能的面瘫程度评估系统
CN105204168B (zh) 一种基于双波前校正器的无波前探测器远场激光束整形装置及方法
CN101710667B (zh) 基于干涉条纹图骨架线处理的激光谐振腔自动调腔系统及其方法
CN109583513A (zh) 一种相似帧的检测方法、系统、装置及可读存储介质
US20240153120A1 (en) Method to determine the depth from images by self-adaptive learning of a neural network and system thereof
CN112200856A (zh) 一种基于事件相机的视觉测距方法
KR100606615B1 (ko) 물체인식 방법
Harithas et al. Urbanfly: Uncertainty-aware planning for navigation amongst high-rises with monocular visual-inertial slam maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant