CN111745639B - 信息处理方法及装置、物体检测装置以及机器人系统 - Google Patents

信息处理方法及装置、物体检测装置以及机器人系统 Download PDF

Info

Publication number
CN111745639B
CN111745639B CN202010219335.8A CN202010219335A CN111745639B CN 111745639 B CN111745639 B CN 111745639B CN 202010219335 A CN202010219335 A CN 202010219335A CN 111745639 B CN111745639 B CN 111745639B
Authority
CN
China
Prior art keywords
data
photographing
bulk
pose
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010219335.8A
Other languages
English (en)
Other versions
CN111745639A (zh
Inventor
水上博光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN111745639A publication Critical patent/CN111745639A/zh
Application granted granted Critical
Publication of CN111745639B publication Critical patent/CN111745639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供信息处理方法以及信息处理装置、具备该信息处理装置的物体检测装置以及具备该物体检测装置的机器人系统，能够高效地生成用于检测散装物体的学习数据。一种信息处理方法，其特征在于具有：受理物体设计数据的步骤；从设计数据生成包含物体形状数据和物体位姿信息的物体数据的步骤；通过仿真积累物体数据从而生成第一散装数据的步骤；提取配置于最表面的物体数据的步骤；在通过拍摄部对物体进行拍摄的情况下，找出能够获得提取的物体数据的拍摄角度从而配置拍摄部的步骤；通过拍摄部对物体从所述拍摄角度进行拍摄，从而获取第一拍摄数据的步骤和将提取的物体数据中包含的形状数据置换为第一拍摄数据从而生成学习数据的步骤。

Description

信息处理方法及装置、物体检测装置以及机器人系统
技术领域
本发明关于信息处理方法、信息处理装置、物体检测装置以及机器人系统。
背景技术
在机器人进行作业时，需要使机器人识别作业对象等对象物体的位姿。
例如，专利文献1中公开了一种信息处理装置，具备：第一获取装置，获取对象物体的位置、朝向、大小以及种类中的至少一个以作为生成关于对象物体的学习数据所需的学习信息；确定装置，基于所获取的学习信息而确定拍摄对象物体的拍摄位姿；第二获取装置，以所确定的拍摄位姿获取对象物体的拍摄图像；以及生成装置，基于所获取的学习信息和拍摄图像而生成学习数据。根据这样的信息处理装置，能够容易地生成对应于对象物体的识别用途的学习数据。而且，通过生成用于使用学习数据来识别物体的模型，且基于该模型来识别对象物体的例如中心位置，从而能够使机器人的末端执行器吸附该中心位置。
专利文献1：日本特开2018-116599号公报
然而，在以专利文献1记载的信息处理装置来生成学习数据时，存在不能够从零散散装的对象物体的拍摄图像生成用于高精度地检测对象物体的学习数据这样的课题。
发明内容
本发明的应用例所涉及的信息处理方法，其特征在于，是生成用于检测物体的位姿的学习数据的信息处理方法，
该信息处理方法具有：
受理所述物体的设计数据的步骤；
从所述设计数据生成包含所述物体的形状数据和所述物体的位姿信息的物体数据的步骤；
通过仿真积累所述物体数据从而生成第一散装数据的步骤；
提取所述第一散装数据中配置于最表面的所述物体数据作为最表面物体数据的步骤；
在通过拍摄部对单独放置的所述物体进行拍摄的情况下，基于能够获得所述最表面物体数据的位姿的拍摄角度以及拍摄距离来配置所述拍摄部的步骤；通过所述拍摄部对单独放置的所述物体以所述拍摄角度以及拍摄距离进行拍摄，从而获取第一拍摄数据的步骤；和
将所述第一散装数据中所述最表面物体数据中包含的所述形状数据置换为所述第一拍摄数据，从而生成所述学习数据的步骤。
附图说明
图1为示出第一实施方式涉及的机器人系统的功能框图。
图2为示出图1所示的信息处理装置的硬件构造的一例的图。
图3为示出第一实施方式涉及的信息处理方法的流程图。
图4为示出不能进行对象物拍摄的范围的一例的示意图。
图5为将对象物以图4所示的两个稳定姿态置于工作台上时，以对象物为基准而合成的不能通过拍摄部进行拍摄的范围的图。
图6为示出以第一实施方式涉及的信息处理方法生成的学习数据的一例的示意图。
图7为对于图6所示的学习数据中包含的最表面的物体数据仅图示出表面点群数据的示意图。
图8为示出包括第二实施方式涉及的信息处理装置的机器人系统的功能框图。
图9为示出第二实施方式涉及的信息处理方法的流程图。
图10为用于说明在互相不同的第一拍摄条件以及第二拍摄条件下进行对象物的拍摄的状况的侧视图。
图11为剔除了图10所示的多个条件拍摄数据D11、D12中的背景部分，并且抽出了与对象物对应的表面点群数据D21、D22的图。
图12为示出以使图11所示的两个表面点群数据D21、D22以不重叠的方式排列的例子C1，和以使两个表面点群数据D21、D22中的一部分重叠的方式排列的例子C2的图。
图13为示出包括第三实施方式所涉及的信息处理装置的机器人系统的功能框图。
图14为示出第三实施方式涉及的信息处理方法的流程图。
图15为示出包括第四实施方式涉及的信息处理装置的机器人系统的功能框图。
图16为示出第四实施方式涉及的信息处理方法的流程图。
附图标记说明
1…机器人、3…拍摄部、4…物体检测装置、5…机器人控制装置、10…机械臂、11…臂、12…臂、13…臂、14…臂、15…臂、16…臂、17…末端执行器、42…信息处理装置、42a…处理器、42b…存储部、42c…外部接口、42d…系统总线、44…散装拍摄数据获取部、46…物体位姿检测部、91…对象物、92…工作台、93…工作台、100…机器人系统、110…底座、420…坐标校准用数据获取部、421…设计数据受理部、422…物体数据生成部、423…第一散装数据生成部、424…最表面提取部、426…拍摄角度计算部、427…单独拍摄数据获取部、428…学习数据生成部、429…设计数据生成部、431…多条件拍摄数据获取部、432…第二散装数据生成部、433…最表面位姿信息赋予部、434…单独拍摄数据获取部、435…多条件拍摄数据获取部、900…学习数据、901…物体数据、902…物体数据、903…物体数据、904…物体数据、905…物体数据、906…物体数据、907…物体数据、D11…多条件拍摄数据、D12…多条件拍摄数据、D21…表面点群数据、D21A…一部分、D22…表面点群数据、N…范围、P1…稳定姿态、P2…稳定姿态。
具体实施方式
以下，基于附图所示的实施方式对本发明的信息处理方法、信息处理装置、物体检测装置以及机器人系统进行详细说明。
1.第一实施方式
1.1机器人系统
首先，对第一实施方式涉及的机器人系统进行说明。
图1为示出第一实施方式涉及的机器人系统的功能框图。
此外，图1中图示出X轴、Y轴以及Z轴作为互相正交的三个轴。另外，为了方便说明，将Z轴顶端方向设为“上”，且Z轴底端方向设为“下”。
图1所示的机器人系统100例如可以用于电子部件等对象物91(物体)的持取、搬送以及组装等作业。该机器人系统100具有：具备机械臂10的机器人1、设置于机械臂10的具有拍摄功能的拍摄部3、检测对象物91的物体检测装置4以及基于物体检测装置4的检测结果来控制机器人1的驱动的机器人控制装置5。以下依次说明各部分。
1.1.1机器人
图1所示的机器人1为所谓的六轴垂直多关节机器人，具有底座110和与底座110连接的机械臂10。
底座110为将机器人1安装于任意的设置位置的部分。在本实施方式中，底座110设置于例如地面等设置位置。此外，底座110的设置位置不限于地面等，例如也可以设置于墙壁、天花板、能够移动的滑车上等。因此，图1的Z轴不限于垂直轴。
图1所示的机械臂10其底端与底座110连接，且具有臂11、臂12、臂13、臂14、臂15以及臂16。这些臂11至16从底端朝向顶端按照该如上顺序联结。各臂11至16相对于相邻的臂或底座110能够转动。
另外，虽然均未图示出，但机器人1具有使臂11相对于底座110转动的驱动装置、使臂12相对于臂11转动的驱动装置、使臂13相对于臂12转动的驱动装置、使臂14相对于臂13转动的驱动装置、使臂15相对于臂14转动的驱动装置以及使臂16相对于臂15转动的驱动装置。各驱动装置具备马达、控制马达驱动的控制器和检测马达旋转量的编码器，且通过机器人控制装置5相互独立地进行控制。
如图1所示，机械臂10的顶端装配有能够吸附对象物91的末端执行器17。末端执行器17具有例如抓持手、吸附手、磁力手等，以持取对象物91并进行各种作业。
1.1.2拍摄部
图1所示的拍摄部3装配于机械臂10的顶端部。图1所示的拍摄部3构成为通过机械臂10的驱动来改变拍摄位置的方式，能够对例如放置于工作台92上的对象物91以及放置于工作台93上的对象物91进行拍摄。
拍摄部3与物体检测装置4以能够通信的方式连接。此外，拍摄部3与物体检测装置4之间的连接可以为有线连接，除此以外也可以为无线连接。
拍摄部3为能够对对象物91或其周围拍摄包含彩色图像、单色图像、红外图像等二维图像数据和深度图像等表面点群数据的三维形状数据的设备。作为这样的拍摄部3能够例举通过相移法、主动立体视觉法等来计测拍摄对象的三维形状的三维计测装置等。
1.1.3物体检测装置
物体检测装置4与拍摄部3以及机器人控制装置5以能够通信的方式连接。此外，物体检测装置4与机器人控制装置5之间的连接可以为有线连接，除此以外也可以为无线连接。
另外，图1所示的物体检测装置4具有信息处理装置42、散装拍摄数据获取部44和物体位姿检测部46。为了以末端执行器17来持取例如图1的工作台93上散装的对象物91，物体检测装置4通过物体识别算法即深度学习来学习对象物91的模型，并基于该学习数据检测各个对象物91。基于该检测结果，机器人控制装置5控制机器人1的动作，且使末端执行器17持取对象物91。
以下对物体检测装置4的各部分进行说明。
1.1.3.1信息处理装置
图1所示的信息处理装置42具有：坐标校准用数据获取部420、设计数据受理部421、物体数据生成部422、第一散装数据生成部423、最表面提取部424、拍摄角度计算部426、单独拍摄数据获取部427(第一拍摄数据获取部)和学习数据生成部428。
坐标校准用数据获取部420与拍摄部3连接，使拍摄部3对工作台92上单独放置的对象物91进行拍摄，且获取该拍摄数据作为坐标校准用数据。坐标校准用数据将在后续说明，通过使其与在设计数据受理部421受理的设计数据进行匹配，从而使放置有对象物91的空间中的机器人坐标与后续说明的用于仿真的仿真坐标一致。
设计数据受理部421与例如键盘、触屏、可拆装式外部存储装置、网络等未图示的数据输入部连接，并受理用户输入的对象物91(物体)的设计数据。设计数据为对象物91的三维几何模型。具体而言，能够举出，能够以三维制图软件进行操作的三维CAD(Computer-Aided Design，计算机辅助设计)数据或以点、线、面这样的模型的构造要素而构造的且能够以三维计算机图形软件操作的三维CG(Computer Graphics，计算机图形)数据等。
其中，作为设计数据优选三维CAD数据。由于三维CAD数据多在对象物91的制造时来制作，因此容易得到，且数据量小，因此容易作为设计数据使用。
物体数据生成部422从设计数据生成包含对象物91的形状数据和对象物91的位姿信息的物体数据。对象物91的形状数据是指包含二维图像数据和表面点群数据的三维形状数据。另外，对象物91的位姿信息是指例如具有六自由度的位姿信息，具体而言为沿X轴的位置信息、沿Y轴的位置信息、沿Z轴的位置信息、关于方位角(Azimuth，地平经度)的姿势信息、关于仰角(Elevation，高度角)的姿势信息以及关于旋转角(Rotation，轴角)的姿势信息。
第一散装数据生成部423通过仿真积累多个物体数据从而生成第一散装数据。具体而言，通过积累物体数据对处于散装状态下的对象物91的位姿进行仿真。关于该仿真在后续进行详细说明，由于能够通过运算来处理大量的物体数据，从而能够高效地生成大规模的学习数据。
最表面提取部424在第一散装数据中提取配置于最表面的物体数据(最表面物体数据)。最表面的物体数据是指，在第一散装数据中，例如Z坐标显示为比周围更大的值的物体数据。通过提取最表面的物体数据，从而能够生成例如执行从最表面一侧依次持取处于散装状态的对象物91的作业时的最适当的学习数据。
拍摄角度计算部426计算在通过拍摄部3对工作台92上单独放置的对象物91进行拍摄时与提取的最表面的物体数据相对应的拍摄角度以及拍摄距离。
单独拍摄数据获取部427(第一拍摄数据获取部)通过拍摄部3以由拍摄角度计算部426计算出的拍摄角度以及拍摄距离对工作台92上单独放置的对象物91进行拍摄。据此，获取单独拍摄数据(第一拍摄数据)。单独拍摄数据为包含对象物91的二维图像数据和对象物91的表面点群数据的实测数据。
学习数据生成部428将在第一散装数据中提取的最表面的物体数据中包含的对象物91的形状数据置换为作为实测数据的单独拍摄数据。据此，生成包含作为对象物91的实测数据的单独拍摄数据和与该单独拍摄数据建立了关联的对象物91的位姿信息的学习数据。
以上关于第一实施方式涉及的信息处理装置42的构造进行了说明，关于信息处理装置42的工作即信息处理方法，后续进行详细说明。
图2为示出图1所示的信息处理装置42的硬件构造的一例的图。
图2所示的信息处理装置42包括：处理器42a、存储部42b和外部接口42c。而且，这些要素各自经由系统总线42d以互相能够通信的方式连接。
处理器42a具备CPU(Central Processing Unit，中央处理器)等。而且，读出存储部42b中存储的各种程序等并执行。据此，实现信息处理装置42中的各种运算或各种处理等。
存储部42b保存处理器42a能够执行的各种程序等。作为存储部42b能够例举例如RAM(Random Access Memory，随机存取存储器)等易失性存储器、ROM(Read Only Memory，只读存储器)等非易失性存储器、可拆装式外部存储装置等。此外，存储部42b中除了程序以外也存储从上述各部输出的数据或设定值等。
外部接口42c能够例举例如有线LAN(Local Area Network，局域网)、无线LAN等。
此外，信息处理装置42的各部分的功能虽然是通过处理器42a执行程序来实现的，但这些功能的至少一部分也可以在硬件上实现。
另外，信息处理装置42可以配置于机器人1的壳体内，也可配置于壳体外，还可以经由网络等设置为远程方式。
1.1.3.2散装拍摄数据获取部
散装拍摄数据获取部44(第二拍摄数据获取部)通过拍摄部3对工作台93上散装的对象物91进行拍摄从而获取散装拍摄数据(第二拍摄数据)。另外，散装拍摄数据获取部44向机器人控制装置5输出控制信号，以使拍摄部3配置于能够对散装的对象物91进行拍摄的位置。
1.1.3.3物体位姿检测部
物体位姿检测部46基于散装拍摄数据与学习数据来检测工作台93上散装的对象物91的位姿。据此，即使为散装状态也能够检测各个对象物91并通过末端执行器17来进行持取等的作业。
1.1.4机器人控制装置
机器人控制装置5具有控制机器人1的工作的功能，且如图1所示相对于机器人1以及物体检测装置4以能够通信的方式连接。此外，机器人控制装置5与机器人1以及物体检测装置4之间可以分别通过有线方式连接，也可以通过无线方式连接。另外，机器人控制装置5中也可以连接有监视器等显示装置、键盘、触屏等输入装置等。
虽然未图示，机器人控制装置5包括处理器、存储部和外部接口，且这些要素分别经由各种总线以互相能够通信的方式连接。
处理器具备CPU(Central Processing Unit)等处理器，且执行存储部中存储的各种程序等。据此，能够实现机器人1的驱动控制或各种运算以及判断等处理。
1.2信息处理方法
接着，对第一实施方式涉及的信息处理方法进行说明。
图3为示出第一实施方式涉及的信息处理方法的流程图。
图3所示的信息处理方法为使用对象物91的设计数据并学习对象物91的模型从而高效地生成学习数据的方法。在图3所示的信息处理方法中，能够高效地生成大量的学习数据，且能够减轻学习数据生成所需的负荷。
图3所示的信息处理方法具有：受理设计数据的步骤S11、进行坐标校准的步骤S12、生成物体数据的步骤S13、积累物体数据并生成第一散装数据的步骤S14、提取第一散装数据的最表面的步骤S15、基于提取的最表面的物体数据计算拍摄部3的拍摄角度和拍摄距离，以达到该拍摄角度和拍摄距离的方式配置拍摄部3的步骤S16、通过拍摄部3获取单独拍摄数据(第一拍摄数据)的步骤S17、基于物体数据和单独拍摄数据而生成学习数据的步骤S18。以下依次说明各步骤。
1.2.1设计数据的受理(步骤S11)
首先，通过设计数据受理部421受理对象物91的设计数据。设计数据的受理通过未图示的数据输入部输入设计数据来进行。设计数据如上所述为例如三维CAD数据、三维CG数据等。
1.2.2坐标的校准(步骤S12)
随后，使放置有对象物91的空间中的机器人坐标与在后续说明的步骤S14进行的用于仿真的仿真坐标一致。即，进行坐标的校准。
具体而言，将对象物91单独放置于工作台92上。此时，用户以使对象物91放置于平面上时稳定的姿态(稳定姿态)来放置是优选的。
随后，将拍摄部3配置于事先规定的位置并对工作台92上放置的对象物91进行拍摄。据此，在坐标校准用数据获取部420中获取作为坐标校准用数据的拍摄数据。坐标校准用数据设为例如包含二维图像数据和表面点群数据的三维形状数据，但是也可以省略二维图像数据。
接着，从设计数据提取表面点群数据。而且，使坐标校准用数据中包含的表面点群数据与从设计数据提取的表面点群数据建立关联。该建立关联可以使用例如ICP(Iterative Closest Point，迭代最近点)法。据此，能够将设计数据中包含的唯一的位姿信息赋予对以稳定姿态放置的对象物91进行拍摄而得的坐标校准用数据。如此，进行了坐标的校准并且完成了基准姿势的登记。在后续说明的步骤S16中计算拍摄部3的拍摄角度以及拍摄距离时，该基准姿势为用于计算拍摄角度以及拍摄距离的基准。
另外，在对象物91存在多个稳定姿态的情况下，将每个稳定姿态均作为基准姿势登记。此外，若这样登记基准姿势，则存在不能拍摄对象物91的空间上的范围。因此，以随后的方法事先求出该范围。
图4为示出不能拍摄对象物91的范围的一例的示意图。
在图4所示的例子中假设对象物91存在两个稳定姿态。如图4所示，在以作为两个姿态的稳定姿态P1以及稳定姿态P2而将对象物91放置于工作台92上时，能够通过拍摄部3拍摄的空间上的范围是工作台92上的范围。此外，在图4中，对不能通过拍摄部3拍摄的范围即工作台92的上表面的下方涂布点状阴影。
图5为将对象物91以图4所示的两个稳定姿态P1、P2放置于工作台92上时，以对象物91为基准而合成的不能通过拍摄部3拍摄的范围的图。在图5中，合成的结果为在稳定姿态P1、P2间不能通过拍摄部3拍摄的范围的大部分能够互相补全，但是也存在一部分不能通过拍摄部3拍摄的范围N。该范围N为图4中涂布了点状阴影的区域彼此重叠的部分。在存在这样的范围N的情况下，在所登记的基准姿势中需对拍摄部3的拍摄角度以及拍摄距离给予限制。即，由于即使将拍摄部3配置于该范围N也不能获取拍摄数据，因此需事先给予限制。
此外，在稳定姿态的数目多的情况下，能够通过增加登记的基准姿势的数目来使范围N充分变窄。
另外，在已完成坐标的校准而无需校准的情况下，也能够省略本步骤。
1.2.3物体数据的生成(步骤S13)
接着，在物体数据生成部422中从设计数据生成物体数据。物体数据如上所述为包含对象物91的形状数据和对象物91的位姿信息的数据。在设计数据为例如三维CAD数据的情况下，能够通过数据转换来生成包含模型的二维图像数据和表面点群数据的对象物91的形状数据。另外，三维CAD的数据由于具有对象物91的位姿信息，因此能够将其赋予物体数据。
1.2.4第一散装数据的生成(步骤S14)
接着，在第一散装数据生成部423中，通过仿真来积累多个物体数据从而生成第一散装数据。第一散装数据为积累多个物体数据并合成而得的合成物体数据。在该仿真中，首先输入散装的箱体的大小、散装的对象物91的数目、第一散装数据中的拍摄部3的位置等的条件作为关于散装的初始条件。该输入可以使用与第一散装数据生成部423连接的未图示的数据输入部来进行。接着，对对象物91以单体落下后的对象物91的三维姿态进行仿真。据此，能够生成多个第一散装数据中的各物体数据。此外，这样的仿真能够通过使用例如关于对象物91的物理运算库来进行。
另外，优选删除通过仿真而积累的物体数据中的拍摄部3位于上述步骤S12中求出的不能进行对象物91的拍摄的范围内的物体数据。
1.2.5最表面的提取(步骤S15)
接着，在最表面提取部424中，提取第一散装数据中位于最表面的物体数据(最表面物体数据)。位于最表面的物体数据是指第一散装数据中的例如Z坐标显示为比周围更大的值的物体数据。在通过仿真求出的第一散装数据中，由于各物体数据的位姿为已知，因此容易提取位于最表面的物体数据。此外，位于最表面的物体数据未必限于以能够通过拍摄部3进行对象物91的外形整体的拍摄的位姿而配置的物体数据，也可以包含一部分以存在不能进行拍摄的部分那样的位姿而配置的物体数据。
此外，对第一散装数据中位于最表面的所有物体数据来进行这样的物体数据的提取。
1.2.6拍摄部的配置(步骤S16)
接着，在拍摄角度计算部426中，计算与位于最表面的物体数据相对应的拍摄部3的拍摄角度以及拍摄距离。
具体而言，首先，在通过拍摄部3对工作台92上单独放置的对象物91进行了拍摄的情况下，确定在步骤S15中提取的位于最表面的物体数据中包含的位姿信息。其次，计算在仿真上能够以与通过以上方式确定的位姿信息相同的位姿进行对象物91的拍摄的拍摄角度以及拍摄距离。即，计算具有与从设计数据合成的对象物91的图像数据或表面点群数据相同的拍摄方式的拍摄角度以及拍摄距离。对于该计算，能够利用步骤S12中登记的基准姿势与求出该基准姿势时的拍摄部3的拍摄角度以及拍摄距离之间的关系。
随后，从拍摄角度计算部426向机器人控制装置5输出控制信号，以使得拍摄部3达到计算出的拍摄角度以及拍摄距离。而且，驱动机械臂10来改变拍摄部3的配置。此外，在无需改变配置的情况下，维持拍摄部3的原有配置即可。
1.2.7单独拍摄数据的获取(步骤S17)
随后，基于来自单独拍摄数据获取部427(第一拍摄数据获取部)的控制信号，通过拍摄部3对工作台92上单独放置的对象物91进行拍摄。而且，在单独拍摄数据获取部427中获取单独拍摄数据(第一拍摄数据)。单独拍摄数据为包含对象物91的二维图像数据和对象物91的表面点群数据的实测数据。
此外，由于单独拍摄数据为实测数据，因此除了对象物91的形状数据以外也包含其背景的形状数据。因此，在本步骤中，剔除背景的形状数据，仅抽出对象物91的形状数据并将其作为单独拍摄数据。此外，由于背景为工作台92，上表面为平坦面，因此能够容易地与对象物91的形状数据区分开。
1.2.8学习数据的生成(步骤S18)
接着，通过学习数据生成部428，进行将在第一散装数据中提取的最表面的物体数据所包含的对象物91的形状数据置换为在步骤S17中获取的单独拍摄数据的步骤S181。据此，能够将基于提取的物体数据所包含的合成图像的形状数据替换成作为实测数据的单独拍摄数据。另外，与此同时，能够使物体数据中包含的位姿信息与所替换的单独拍摄数据建立关联。如此，能够获得学习数据的一个要素。
随后，作为步骤S182，判断所有提取的物体数据是否已完成形状数据的置换。而且，在没有完成置换的情况下，对于剩余的物体数据再次进行步骤S16中的拍摄部3的配置、步骤S17中的单独拍摄数据的获取以及本步骤中的数据置换。另外，在完成了置换的情况下设为生成了学习数据。
图6为示出以第一实施方式涉及的信息处理方法生成的学习数据的一例的示意图。此外，图6为从垂直上方观察的图。另外，图7为对于图6所示的学习数据中包含的最表面的物体数据901至906仅图示出了表面点群数据的示意图。此外，图7为从水平面内观察的图。
图6以及图7所示的学习数据900包含六个物体数据即901、902、903、904、905、906作为最表面的物体数据。另外，在图6中也图示出了存在于这些物体数据901至906的背景中的背景物体数据907。而且，学习数据900为将这些物体数据901至907以随机方式而积累的数据。此外，位于最表面的物体数据901至906涂布为点状阴影。
另外，在图6中也示出了物体数据901至906包含的位姿信息的形象。具体而言，在物体数据901中包含位姿信息(X1、Y1、Z1、A1、E1、R1)。这些为例如，X1为沿X轴的位置信息、Y1为沿Y轴的位置信息、Z1为沿Z轴的位置信息、A1为关于方位角的姿势信息、E1为关于仰角的姿势信息、R1为关于旋转角的姿势信息。与此同样，物体数据902中包含位姿信息(X2、Y2、Z2、A2、E2、R2)，物体数据903至906中也包含位姿信息(X3、Y3、Z3、A3、E3、R3)、(X4、Y4、Z4、A4、E4、R4)、(X5、Y5、Z5、A5、E5、R5)、(X6、Y6、Z6、A6、E6、R6)。
进一步，图7图示出了物体数据901至906包含的表面点群数据的形象。
通过生成包含多个物体数据901至907这样的数据的学习数据900，从而能够扩大学习数据的规模，并且能够更加提高物体检测装置4中对象物91的检测精度。
此外，在学习数据900中也可以包含相同位姿的物体数据。例如，由于在改变了照明条件的情况下单独拍摄数据也发生变化，因此也可以使用以不同的照明条件而获取的相同位姿的单独拍摄数据来生成个别的学习数据。
另外，在步骤S17中进行单独拍摄数据的拍摄时，也可以在拍摄部3的同一视野中配置多个相同的位姿的对象物91，且在每次获取单独拍摄数据时随机改变作为拍摄对象的对象物91。据此，由于能够获取映照于对象物91的环境光的影响不同的单独拍摄数据，从而能够生成考虑到该影响的学习数据900。其结果，能够进一步提高物体检测装置4中的对象物91的检测精度。
如上所述，本实施方式所涉及的信息处理方法为生成用于检测对象物91(物体)的位姿的学习数据的方法，该信息处理方法具有：受理对象物91的设计数据的步骤S11、从设计数据生成包含对象物91的形状数据和对象物91的位姿信息的物体数据的步骤S13、通过仿真积累多个物体数据从而生成第一散装数据的步骤S14、在第一散装数据中提取配置于最表面的物体数据作为最表面物体数据的步骤S15、在通过拍摄部3对单独放置的对象物91进行拍摄的情况下，基于能够获得最表面物体数据的位姿的拍摄角度以及拍摄距离而配置拍摄部3的步骤S16、通过拍摄部3对单独放置的对象物91从所述拍摄角度以及所述拍摄距离进行拍摄从而获取单独拍摄数据(第一拍摄数据)的步骤S17和在第一散装数据中将最表面物体数据中包含的形状数据置换为单独拍摄数据而生成学习数据的步骤S18。
根据这样的信息处理方法，通过仿真而生成第一散装数据，且基于该第一散装数据而生成了学习数据，从而能够高效地在短期内生成处于散装状态的对象物91的学习数据。另外，通过进行数据置换，能够利用实测数据作为对象物91的形状数据。因此，能够生成参照了真实环境的学习数据。即，通过仿真高效地生成学习数据，另一方面能够缩小仿真结果与真实环境之间的差距。其结果，能够高效地生成也反映了真实环境下的噪声或数据缺失等的学习数据。其结果，由于在利用学习数据来检测对象物91时能够提高其检出率，因此能够提高机器人1以对象物91为对象的作业效率。
另外，本实施方式涉及的信息处理装置42为生成用于检测对象物91(物体)的位姿的学习数据的装置，该信息处理装置具有：受理对象物91的设计数据的设计数据受理部421、从设计数据生成包含对象物91的形状数据和对象物91的位姿信息的物体数据的物体数据生成部422、通过仿真积累多个物体数据从而生成第一散装数据的第一散装数据生成部423、在第一散装数据中提取配置于最表面的物体数据作为最表面物体数据的最表面提取部424、在通过拍摄部3对单独放置的对象物91进行拍摄时，计算与最表面物体数据相对应的拍摄角度以及拍摄距离的拍摄角度计算部426、通过拍摄部3对单独放置的对象物91以所述拍摄角度以及所述拍摄距离进行拍摄，从而获取单独拍摄数据(第一拍摄数据)的单独拍摄数据获取部427(第一拍摄数据获取部)和在第一散装数据中将最表面物体数据中包含的形状数据置换为单独拍摄数据，从而生成学习数据的学习数据生成部428。
根据这样的信息处理装置42，通过仿真生成第一散装数据，且基于该第一散装数据生成学习数据，从而能够高效地生成处于散装状态的对象物91的学习数据。因此，能够减轻生成大规模学习数据时的信息处理装置42的负荷。另外，通过进行数据置换能够利用实测数据作为对象物91的形状数据。因此，能够生成参照了真实环境的学习数据。
进一步，本实施方式涉及的物体检测装置4为检测对象物91(物体)的位姿的装置，该物体检测装置具有：所述信息处理装置42、通过拍摄部3进行对象物91的拍摄从而获取散装拍摄数据(第二拍摄数据)的散装拍摄数据获取部44(第二拍摄数据获取部)和基于散装拍摄数据以及学习数据来检测对象物91的位姿的物体位姿检测部46。
根据这样的物体检测装置4，由于能够在信息处理装置42中高效地生成学习数据，因此能够减轻物体检测装置4的负荷。另外，由于能够在信息处理装置42中生成参照了真实环境的学习数据，因此能够在利用该学习数据来检测对象物91时提高其检出率。其结果，例如即使在散装了对象物91的情况下，也能够使机器人1的末端执行器17以高精度持取对象物91。
另外，本实施方式涉及的机器人系统100具有：具备机械臂10的机器人1、设置于机械臂10的拍摄部3、所述物体检测装置4和基于物体检测装置4的检测结果来控制机器人1的驱动的机器人控制装置5。
根据这样的机器人系统100，由于能够高效地生成用于检测对象物91的位姿的学习数据，因此能够提高作业效率。
2.第二实施方式
2.1信息处理装置
随后，对第二实施方式涉及的信息处理装置进行说明。
图8示出了包括第二实施方式涉及的信息处理装置的机器人系统的功能框图。
以下，虽然对第二实施方式涉及的信息处理装置进行说明，但是在以下说明中，以与第一实施方式涉及的信息处理装置的不同之处为中心进行说明，对于同样的事项省略其说明。此外，在图8中对于与第一实施方式同样的构造标记相同的符号。
第二实施方式涉及的信息处理装置42不使用对象物91的设计数据，而是使用对于对象物91以互相不同的多个拍摄条件下进行了拍摄的多条件拍摄数据(第三拍摄数据)来生成学习数据，除此以外与第一实施方式涉及的信息处理装置42相同。即，本实施方式从不存在对象物91的三维CAD数据等的情况下也能够应用的观点出发与第一实施方式不同。
图8所示的信息处理装置42具有多条件拍摄数据获取部431(第三拍摄数据获取部)、第二散装数据生成部432、最表面位姿信息赋予部433、拍摄角度计算部426、单独拍摄数据获取部434(第四拍摄数据获取部)和学习数据生成部428。
多条件拍摄数据获取部431与拍摄部3连接，通过拍摄部3对工作台92上单独放置的对象物91进行拍摄。此时，以多个拍摄条件来进行对象物91的拍摄。据此，获得多个多条件拍摄数据(第三拍摄数据)。多条件拍摄数据为对于一个对象物91以互相不同的多个拍摄条件进行拍摄所得的形状数据。据此，生成了对象物91的形状数据。此外，拍摄条件能够举出对于对象物91的拍摄角度、拍摄距离、拍摄时的照明条件等。
第二散装数据生成部432通过仿真积累多条件拍摄数据从而生成第二散装数据。具体而言，对处于散装状态下的对象物91的位姿通过积累多条件拍摄数据从而进行仿真。在本实施方式中，通过使多条件拍摄数据随机排列从而对散装状态进行仿真。
最表面位姿信息赋予部433在第二散装数据中对配置于最表面的多条件拍摄数据赋予位姿信息。最表面的多条件拍摄数据是指，在第二散装数据中，例如Z坐标显示为比周围更大的值的多条件拍摄数据。另外，对该多条件拍摄数据赋予的位姿信息为包含例如在对象物91中通过末端执行器17能够吸附的吸附面的位置和该吸附面的法线方向的信息。最表面位姿信息赋予部433从多条件拍摄数据提取这样的位姿信息，并赋予该数据作为正确答案数据。据此，即使没有设计数据，也能够赋予用于生成末端执行器17持取对象物91时能够利用的学习数据的正确答案数据。
拍摄角度计算部426在通过拍摄部3对工作台92上单独放置的对象物91进行拍摄时，计算与所述最表面的多条件拍摄数据相对应的拍摄角度以及拍摄距离。
单独拍摄数据获取部434(第四拍摄数据获取部)通过拍摄部3以由拍摄角度计算部426计算出的拍摄角度以及拍摄距离对工作台92上单独放置的对象物91进行拍摄。据此，获取单独拍摄数据(第四拍摄数据)。
学习数据生成部428在第二散装数据中将被赋予了位姿信息的多条件拍摄数据中包含的对象物91的形状数据置换为作为实测数据的单独拍摄数据。据此，生成包含作为对象物91的实测数据的单独拍摄数据和对象物91的位姿信息的学习数据。
以上，对第二实施方式所涉及的信息处理装置42的构造进行了说明，随后对信息处理装置42的工作即信息处理方法进行说明。
2.2信息处理方法
随后，对第二实施方式涉及的信息处理方法进行说明。
图9为示出了第二实施方式所涉及的信息处理方法的流程图。
以下，对第二实施方式涉及的信息处理方法进行说明，在以下说明中，以与第一实施方式涉及的信息处理方法的不同之处为中心进行说明，对于同样的事项省略其说明。此外，在图9中，对与上述实施方式同样的构造标记相同的符号。
第二实施方式涉及的信息处理方法不使用对象物91的设计数据，而使用以互相不同的多个拍摄条件进行了拍摄的多条件拍摄数据(第三拍摄数据)来生成学习数据，除此以外与第一实施方式涉及的信息处理方法相同。
图9所示的信息处理方法具有：获取多条件拍摄数据(第三拍摄数据)的步骤S21、积累多条件拍摄数据并生成第二散装数据的步骤S22、对最表面的多条件拍摄数据赋予位姿信息的步骤S23、基于最表面的多条件拍摄数据来计算拍摄部3的拍摄角度，且以达到该拍摄角度的方式配置拍摄部3的步骤S24、获取通过拍摄部3获得的单独拍摄数据(第四拍摄数据)的步骤S25、基于多条件拍摄数据和单独拍摄数据来生成学习数据的步骤S26。以下，依次说明各步骤。
2.2.1多条件拍摄数据的获取(步骤S21)
首先，将对象物91单独放置于工作台92上。随后，以互相不同的多个拍摄条件进行对象物91的拍摄。而且，通过多条件拍摄数据获取部431来获取多个多条件拍摄数据(第三拍摄数据)。此外，在以下为了使说明简单，设为以两个拍摄条件来进行对象物91的拍摄。
图10为用于说明以互相不同的第一拍摄条件以及第二拍摄条件进行对象物91的拍摄的状况的侧视图。此外，在图10中，对象物91的轮廓以及工作台92的上表面以实线来表示。另外，通过以各拍摄条件进行的拍摄而能够获得表面点群数据的面以虚线来表示。
图10所示的第一拍摄条件以及第二拍摄条件为相对于对象物91的拍摄角度不同。在图10中，以第一拍摄条件所得的多条件拍摄数据设为D11；以第二拍摄条件所得的多条件拍摄数据设为D12。多条件拍摄数据D11以及多条件拍摄数据D12为互相不同的数据。
图11为从图10所示的多条件拍摄数据D11、D12中，剔除了背景部分且提取了与对象物91相对应的表面点群数据D21、D22的图。在图10中，由于对象物91的背景为工作台92，因此如果基于表面点群数据D21、D22的内容，则背景部分的辨别是容易的。因此，通过从图10所示的多条件拍摄数据D11、D12中剔除背景部分，从而能够抽出图11所示那样的与对象物91相对应的表面点群数据D21、D22。
此外，图11的表面点群数据D21、D22中，以第二拍摄条件所得的表面点群数据D22为使图10所示的表面点群数据D12平移以及旋转而得的数据。如上所述，由于获取多条件拍摄数据D11时的拍摄角度与获取多条件拍摄数据D12时的拍摄角度不同，据此如图11所示，使表面点群数据D22平移以及旋转。据此，获得了图11所示的表面点群数据D22。
通过如上以互相不同的拍摄条件进行了对象物91的拍摄，从而能够获取互相位姿不同的多条件拍摄数据D11、D12。即，能够获取包含与对象物91的各种位姿相对应的表面点群数据D21、D22的多条件拍摄数据D11、D12。而且，如此获取多个多条件拍摄数据。
接着，使多条件拍摄数据D11、D12的一部分缺失。据此，能够在后续说明的第二散装数据中对位于最表面的数据的背景部分的数据进行仿真。
图12为示出了以图11所示的两个表面点群数据D21、D22没有重叠的方式排列的例子C1和以两个表面点群数据D21、D22中的一部分重叠的方式排列的例子C2的图。在例子C1中没有发生重叠，而在例子C2中发生了重叠，表面点群数据D21的一部分D21A隐藏于表面点群数据D22的阴影中。因此，通过使多条件拍摄数据D11、D12的一部分缺失，从而能够对位于背景部分的数据进行仿真。
2.2.2第二散装数据的生成(步骤S22)
接着，在第二散装数据生成部432中通过仿真积累多条件拍摄数据从而生成第二散装数据。具体而言，对处于散装状态下的对象物91的位姿通过积累多条件拍摄数据从而进行仿真。本实施方式中，通过使多条件拍摄数据在平面上随机排列从而对散装状态进行仿真。
首先，通过使缺失了一部分的多条件拍摄数据D11、D12随机排列从而生成第二散装数据的背景部分。此外，任意设定缺失位置或缺失形状即可。
随后，在背景部分中确定变得比周围更高的位置。任意进行该确定即可。而且，在该位置随机排列多条件拍摄数据D11、D12。据此，生成第二散装数据的最表面部分。即，以在平面上重叠多层的方式来排列多条件拍摄数据D11、D12从而生成第二散装数据，但是在假设例如整体重叠了三层的情况下，接近于平面的第一层与第二层为背景部分，第三层则为最表面部分。
如此，生成本实施方式涉及的第二散装数据的步骤S22包括，将缺失了多条件拍摄数据(第三拍摄数据)的形状数据的一部分的缺失拍摄数据设为第二散装数据的最表面部分以外的区域，即配置于最表面部分的背景的数据的处理。据此，能够高效地生成第二散装数据的背景部分。
另外，生成本实施方式涉及的第二散装数据的步骤S22包括，将没有缺失的多条件拍摄数据即没有遮挡(occlusion)的多条件拍摄数据(第三拍摄数据)设为第二散装数据的最表面部分即配置于最表面的多条件拍摄数据的处理。据此，能够高效地生成第二散装数据的最表面部分。
2.2.3位姿信息的赋予(步骤S23)
接着，通过最表面位姿信息赋予部433对第二散装数据的最表面部分赋予位姿信息。本实施方式涉及的第二散装数据与第一实施方式不同，不保有基于设计数据的位姿信息。因此，在本步骤赋予位姿信息。位姿信息根据学习数据的利用方法有各种形态，作为一个例子，在生成用于通过吸附方式的末端执行器17来吸附对象物91的作业的学习数据时，赋予包含吸附对象物91的吸附点及该吸附点的法线的信息作为位姿信息。具体而言，例如，将多条件拍摄数据D11、D12的中心位置各自设为吸附点，且将该吸附点的位置及其法线方向设为位姿信息即可。此外，吸附点不限于中心位置，也可以设为除此以外的位置。
2.2.4拍摄部的配置(步骤S24)
随后，在拍摄角度计算部426中，基于位于第二散装数据最表面的多条件拍摄数据，计算与该多条件拍摄数据相对应的拍摄部3的拍摄角度以及拍摄距离。本步骤与第一实施方式涉及的步骤S16相同。
2.2.5单独拍摄数据的获取(步骤S25)
随后，基于来自单独拍摄数据获取部434(第四拍摄数据获取部)的控制信号，通过拍摄部3对工作台92上单独放置的对象物91进行拍摄。而且，以单独拍摄数据获取部434来获取单独拍摄数据(第四拍摄数据)。单独拍摄数据为包含对象物91的二维图像数据和对象物91的表面点群数据的实测数据。此外，本步骤与第一实施方式涉及的步骤S17相同。
2.2.6学习数据的生成(步骤S26)
随后，通过学习数据生成部428进行步骤S261，即，在第二散装数据中将位于最表面的多条件拍摄数据中包含的对象物91的形状数据置换为以步骤S25而获取的单独拍摄数据。据此，能够在最表面的多条件拍摄数据中，能够使作为实测数据的单独拍摄数据与多条件拍摄数据中包含的对象物91的位姿信息建立关联。
随后，作为步骤S262，判断所有最表面的多条件拍摄数据是否完成了形状数据的置换。而且，在没有完成置换的情况下，对于剩余的多条件拍摄数据再次进行步骤S24中的拍摄部3的配置、步骤S25中的单独拍摄数据的获取以及本步骤中的数据置换。另外，在完成了置换的情况下，设为生成了学习数据。
如以上说明，本实施方式涉及的信息处理方法为生成用于检测对象物91(物体)的位姿的学习数据的方法，该信息处理方法具有：通过拍摄部3对单独放置的对象物91以互相不同的多个拍摄条件进行拍摄，从而获取多个包含对象物91的形状数据的多条件拍摄数据(第三拍摄数据)的步骤S21、通过仿真积累多条件拍摄数据从而生成第二散装数据的步骤S22、对配置于第二散装数据的最表面部分的多条件拍摄数据赋予位姿信息的步骤S23、在通过拍摄部3对单独放置的对象物91进行了拍摄的情况下，基于能够获得配置于最表面部分的多条件拍摄数据(第三拍摄数据)的位姿的拍摄角度以及拍摄距离来配置拍摄部3的步骤S24、通过拍摄部3对单独放置的对象物91以所述拍摄角度以及所述拍摄距离进行拍摄，从而获取单独拍摄数据(第四拍摄数据)的步骤S25、在第二散装数据中将被赋予了位姿信息的多条件拍摄数据中包含的形状数据置换为单独拍摄数据从而生成学习数据的步骤S26。
根据这样的信息处理方法，通过仿真生成第二散装数据，且基于该第二散装数据来生成学习数据，从而能够高效地以短时间来生成处于散装状态的对象物91的学习数据。另外，通过进行数据置换，从而能够利用实测数据来作为对象物91的形状数据。据此，能够生成参照了真实环境的学习数据。其结果，在利用学习数据检测对象物91时，能够提高其检出率。
另外，由于无需准备第一实施方式那样的设计数据，因此即使在对未知的对象物91进行作业的情况下也能够生成学习数据。
另外，本实施方式涉及的信息处理装置42具有：通过拍摄部3对单独放置的对象物91(物体)以互相不同的多个拍摄条件进行拍摄，且获取多个包含对象物91的形状数据的多条件拍摄数据(第三拍摄数据)的多条件拍摄数据获取部431(第三拍摄数据获取部)、通过仿真积累多条件拍摄数据从而生成第二散装数据的第二散装数据生成部432、在第二散装数据中对配置于最表面的多条件拍摄数据赋予位姿信息的最表面位姿信息赋予部433、计算通过拍摄部3对单独放置的对象物91进行拍摄时的，且与赋予了位姿信息的多条件拍摄数据相对应的拍摄角度以及拍摄距离的拍摄角度计算部426、通过拍摄部3对单独放置的对象物91以所述拍摄角度以及所述拍摄距离进行拍摄，从而获取单独拍摄数据(第四拍摄数据)的单独拍摄数据获取部434(第四拍摄数据获取部)、在第二散装数据中将赋予了位姿信息的多条件拍摄数据中包含的形状数据置换为单独拍摄数据从而生成学习数据的学习数据生成部428。
根据这样的信息处理装置42，通过仿真生成第二散装数据，且基于该第二散装数据而生成学习数据，因此能够高效地以短时间来生成处于散装状态的对象物91的学习数据。另外，通过进行数据置换从而能够利用实测数据来作为对象物91的形状数据。因此，能够生成参照了真实环境的学习数据。
另外，由于无需准备第一实施方式那样的设计数据，即使在对未知的对象物91进行作业的情况下，也能够生成学习数据。
3.第三实施方式
3.1信息处理装置
接着，对第三实施方式涉及的信息处理装置进行说明。
图13为示出了包括第三实施方式涉及的信息处理装置的机器人系统的功能框图。
以下，对于第三实施方式涉及的信息处理装置进行说明，在以下说明中，以与第一、第二实施方式涉及的信息处理装置的不同之处为中心进行说明，对于同样的事项省略其说明。此外，在图13中，对于与上述实施方式同样的构造标记相同的符号。
第三实施方式涉及的信息处理装置42为组合了第一实施方式与第二实施方式的装置。具体而言，使用对象物91的物体数据并且使用对于对象物91以互相不同的多个拍摄条件进行了拍摄的第五拍摄数据来生成学习数据，除此以外与上述实施方式涉及的信息处理装置42相同。
即，第三实施方式涉及的信息处理装置42在第一实施方式涉及的第一散装数据的生成之际，使用将第一实施方式涉及的物体数据与和第二实施方式同样的多条件拍摄数据(第五拍摄数据)建立关联而得的数据的观点出发与第一、第二实施方式不同。
具体而言，图13所示的信息处理装置42在除了图1所示的信息处理装置42以外，还具有多条件拍摄数据获取部435(第五拍摄数据获取部)。
而且，第一散装数据生成部423积累与从设计数据生成的物体数据建立关联的多条件拍摄数据，生成第一散装数据。
这样，通过使用与物体数据建立关联的多条件拍摄数据来生成第一散装数据，从而对于第一散装数据的背景部分来说，则变得无需进行以第二实施方式的步骤S22等进行的数据缺失等作业。因此，背景部分的数据生成能够以相对短时间来进行，且能够以更短的时间来进行学习数据的生成。
3.2信息处理方法
接着，对第三实施方式涉及的信息处理方法进行说明。
图14为示出了第三实施方式涉及的信息处理方法的流程图。
以下，对于第三实施方式涉及的信息处理方法进行说明，在以下说明中，以与第一、第二实施方式涉及的信息处理方法的不同之处为中心进行说明，对于同样的事项省略其说明。此外，在图14中，对于与上述实施方式同样的构造标记相同的符号。
第三实施方式涉及的信息处理方法在第一实施方式涉及的第一散装数据的生成之际，从使用将第一实施方式涉及的设计数据与第二实施方式涉及的多条件拍摄数据(第三拍摄数据)建立关联而得的数据的观点来看，与第一、第二实施方式不同。
图14所示的信息处理方法具有：受理对象物91的设计数据的步骤S11、进行坐标校准的步骤S12、从设计数据生成包含对象物91的形状数据和对象物91的位姿信息的物体数据的步骤S13、通过拍摄部3对单独放置的对象物91以多个拍摄条件进行拍摄，从而获取多个包含对象物91的形状数据的多条件拍摄数据(第五拍摄数据)的步骤S31、在将物体数据与多条件拍摄数据建立关联之后，通过仿真积累多条件拍摄数据从而生成第一散装数据的步骤S14、在第一散装数据中提取配置于最表面的物体数据(最表面物体数据)的步骤S15、在通过拍摄部3对单独放置的对象物91进行了拍摄的情况下，基于与提取的物体数据相对应的拍摄角度以及拍摄距离而配置拍摄部3的步骤S16、通过拍摄部3对单独放置的对象物91以所述拍摄角度以及所述拍摄距离进行拍摄，从而获取单独拍摄数据(第一拍摄数据)的步骤S17、在第一散装数据中将提取的物体数据中包含的形状数据置换为单独拍摄数据从而生成学习数据的步骤S18。
即，本实施方式涉及的信息处理方法相对于第一实施方式涉及的信息处理方法进一步增加了通过拍摄部3对单独放置的对象物91以多个拍摄条件进行拍摄，从而获取多个包含对象物91的形状数据的多条件拍摄数据(第五拍摄数据)的步骤S21。而且，生成第一散装数据的步骤S14为，将从设计数据生成的物体数据与多条件拍摄数据建立关联，并积累与物体数据建立关联的多条件拍摄数据，获得第一散装数据的步骤。
如此，通过使用与物体数据建立关联的多条件拍摄数据来生成第一散装数据，从而第一散装数据的背景部分变得无需进行以第二实施方式的步骤S22等进行的数据缺失等作业。因此，能够以相对短时时间来进行背景部分的数据生成，且能够以更短时间来进行学习数据的生成。
4.第四实施方式
4.1信息处理装置
接着，对第四实施方式涉及的信息处理装置进行说明。
图15示出了包括第四实施方式涉及的信息处理装置的机器人系统的功能框图。
以下，对第四实施方式涉及的信息处理装置进行了说明，在以下说明中，以与第一至第三实施方式涉及的信息处理装置的不同之处为中心进行说明，对于同样的事项省略其说明。此外，在图15中，对于与上述实施方式同样的构造标记相同的符号。
第四实施方式涉及的信息处理装置42从上述第二实施方式涉及的多条件拍摄数据(第三拍摄数据)生成设计数据且使用该设计数据，除此以外与第一实施方式相同。即，在本实施方式中，代替设计数据受理部421而具有设计数据生成部429，并且具有多条件拍摄数据获取部431(第三拍摄数据获取部)，除此以外与第一实施方式相同。
图15所示的多条件拍摄数据获取部431获取多条件拍摄数据且向设计数据生成部429输出。通过设计数据生成部429从多条件拍摄数据生成设计数据。即，将多条件拍摄数据中包含的表面点群数据转换为三维CAD数据等设计数据。对于从表面点群数据到设计数据的转换能够使用公知的转换技术。例如可设为如下方式，即，根据表面点群数据生成了网格数据或多边形数据之后，从网格数据生成表面数据或立体数据而最终生成设计数据。
根据这样的信息处理装置42，即使在不能得到对象物91的设计数据的情况下，也能够生成对象物91的设计数据。据此，即使对于未知的对象物91也能够进行基于设计数据的位姿信息的赋予，能够高效地生成例如对象物91检出率高的学习数据。
4.2信息处理方法
接着，对第四实施方式涉及的信息处理方法进行说明。
图16为示出了第四实施方式涉及的信息处理方法的流程图。
以下，对第四实施方式涉及的信息处理方法进行说明，但是在以下说明中，以与第一至第三实施方式涉及的信息处理方法的不同之处为中心进行说明，且对于同样的事项省略其说明。
第四实施方式涉及的信息处理方法为代替设计数据的受理(步骤S11)而具有设计数据的生成(步骤S41)，并且具有第二实施方式涉及的多条件拍摄数据的获取(步骤S21)，除此以外与第一实施方式相同。
通过生成设计数据的步骤S41，基于以获取多条件拍摄数据的步骤S21而获取的多条件拍摄数据生成设计数据。设计数据的生成方法如在4.1中所说明的。据此，即使在不能得到对象物91的设计数据的情况下，也能够生成对象物91的设计数据。而且，如图16所示，能够在该步骤以后，以与第一实施方式同样的方式来进行。
即使在如上那样的第四实施方式中，也能够获得与第一、第二实施方式同样的效果。
此外，在第四实施方式中，也可以不与第一实施方式设为相同，在除了上述不同点以外也可以与第三实施方式相同。
以上，基于图示的实施方式对本发明的信息处理方法、信息处理装置、物体检测装置以及机器人系统进行了说明，但是本发明不限于此，各部分的构造能够置换为具有同样功能的任意构造。另外，对于本发明也可以附加其他的任意构造物。进一步，上述实施方式涉及的机器人系统为具备六轴的垂直多关节机器人的系统，但垂直多关节机器人的轴数可以为五轴以下也可以为七轴以上。另外，代替垂直多关节机器人，也可以为水平多关节机器人。

Claims (10)

1.一种信息处理方法，其特征在于，是生成用于检测物体的位姿的学习数据的信息处理方法，包括：
受理所述物体的设计数据的步骤；
从所述设计数据生成包含所述物体的形状数据和所述物体的位姿信息的物体数据的步骤；
通过对处于散装状态下的所述物体的位姿进行仿真来积累所述物体数据从而生成第一散装数据的步骤；
在所述第一散装数据中提取配置于最表面的所述物体数据作为最表面物体数据的步骤；
在通过拍摄部对单独放置的所述物体进行拍摄的情况下，基于能够获得所述最表面物体数据的位姿的拍摄角度以及拍摄距离来配置所述拍摄部的步骤；
通过所述拍摄部对单独放置的所述物体以所述拍摄角度以及拍摄距离进行拍摄，从而获取第一拍摄数据的步骤；和
在所述第一散装数据中将所述最表面物体数据中包含的所述形状数据置换为所述第一拍摄数据，从而生成所述学习数据的步骤。
2.根据权利要求1所述的信息处理方法，其特征在于，
所述设计数据为所述物体的三维CAD数据。
3.根据权利要求1或2所述的信息处理方法，其特征在于，
进一步包括通过所述拍摄部对单独放置的所述物体以多个拍摄条件进行拍摄，从而获取包含所述物体的所述形状数据的第五拍摄数据的步骤，
生成所述第一散装数据的步骤为以下步骤：将所述物体数据与所述第五拍摄数据建立关联，积累与所述物体数据建立了关联的所述第五拍摄数据，从而获得所述第一散装数据的步骤。
4.一种信息处理方法，其特征在于，是生成用于检测物体的位姿的学习数据的信息处理方法，包括：
通过拍摄部对单独放置的所述物体以多个拍摄条件进行拍摄，从而获取包含所述物体的形状数据的多个第三拍摄数据的步骤；
通过对处于散装状态下的所述物体的位姿进行仿真来积累所述第三拍摄数据，从而生成第二散装数据的步骤；
对配置于所述第二散装数据的最表面部分的所述第三拍摄数据赋予位姿信息的步骤；
在通过所述拍摄部对单独放置的所述物体进行拍摄的情况下，基于能够获得配置于所述最表面部分的所述第三拍摄数据的位姿的拍摄角度以及拍摄距离来配置所述拍摄部的步骤；
通过所述拍摄部对单独放置的所述物体以所述拍摄角度以及所述拍摄距离进行拍摄，从而获取第四拍摄数据的步骤；和
在所述第二散装数据中，将赋予了所述位姿信息的所述第三拍摄数据中包含的所述形状数据置换为所述第四拍摄数据，从而生成所述学习数据的步骤。
5.根据权利要求4所述的信息处理方法，其特征在于，
生成所述第二散装数据的步骤包括以下处理：将使所述第三拍摄数据的所述形状数据的一部分缺失的缺失拍摄数据设为配置于所述最表面部分的背景的数据。
6.根据权利要求4或5所述的信息处理方法，其特征在于，
生成所述第二散装数据的步骤包括以下处理：将没有遮挡的所述第三拍摄数据设为所述最表面部分。
7.一种信息处理装置，其特征在于，是生成用于检测物体的位姿的学习数据的信息处理装置，包括：
设计数据受理部，受理所述物体的设计数据；
物体数据生成部，从所述设计数据生成包含所述物体的形状数据和所述物体的位姿信息的物体数据；
第一散装数据生成部，通过对处于散装状态下的所述物体的位姿进行仿真来积累所述物体数据，生成第一散装数据；
最表面提取部，在所述第一散装数据中提取配置于最表面的所述物体数据作为最表面物体数据；
拍摄角度计算部，计算通过拍摄部对单独放置的所述物体进行拍摄时的、与所述最表面物体数据相对应的拍摄角度以及拍摄距离；
第一拍摄数据获取部，通过拍摄部对单独放置的所述物体以所述拍摄角度以及拍摄距离进行拍摄，获取第一拍摄数据；和
学习数据生成部，在所述第一散装数据中，将所述最表面物体数据包含的所述形状数据置换为所述第一拍摄数据，从而生成学习数据。
8.一种物体检测装置，其特征在于，是检测物体的位姿的物体检测装置，包括：
权利要求7所述的信息处理装置；
第二拍摄数据获取部，通过拍摄部对所述物体进行拍摄，获取第二拍摄数据；和
物体位姿检测部，基于所述第二拍摄数据以及所述学习数据来检测所述物体的位姿。
9.一种信息处理装置，其特征在于，是生成用于检测物体的位姿的学习数据的信息处理装置，包括：
第三拍摄数据获取部，通过拍摄部对单独放置的所述物体以多个拍摄条件进行拍摄，从而获取包含所述物体的形状数据的多个第三拍摄数据；
第二散装数据生成部，通过对处于散装状态下的所述物体的位姿进行仿真来积累所述第三拍摄数据，生成第二散装数据；
最表面位姿信息赋予部，在所述第二散装数据中，对配置于最表面的所述第三拍摄数据赋予位姿信息；
拍摄角度计算部，计算通过拍摄部对单独放置的所述物体进行拍摄时的、与被赋予了所述位姿信息的所述第三拍摄数据相对应的拍摄角度以及拍摄距离；
第四拍摄数据获取部，通过拍摄部对单独放置的所述物体以所述拍摄角度以及所述拍摄距离进行拍摄，获取第四拍摄数据；和
学习数据生成部，在所述第二散装数据中，将被赋予了所述位姿信息的所述第三拍摄数据中包含的所述形状数据置换为所述第四拍摄数据，从而生成学习数据。
10.一种机器人系统，其特征在于，包括：
机器人，具备机械臂；
拍摄部，设置于所述机械臂；
权利要求8所述的物体检测装置；和
机器人控制装置，基于所述物体检测装置的检测结果来控制所述机器人的驱动。
CN202010219335.8A 2019-03-28 2020-03-25 信息处理方法及装置、物体检测装置以及机器人系统 Active CN111745639B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019064127A JP2020166371A (ja) 2019-03-28 2019-03-28 情報処理方法、情報処理装置、物体検出装置およびロボットシステム
JP2019-064127 2019-03-28

Publications (2)

Publication Number Publication Date
CN111745639A CN111745639A (zh) 2020-10-09
CN111745639B true CN111745639B (zh) 2023-07-07

Family

ID=72606132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219335.8A Active CN111745639B (zh) 2019-03-28 2020-03-25 信息处理方法及装置、物体检测装置以及机器人系统

Country Status (3)

Country Link
US (1) US11158080B2 (zh)
JP (1) JP2020166371A (zh)
CN (1) CN111745639B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10906188B1 (en) * 2019-10-25 2021-02-02 Dexterity, Inc. Singulation of arbitrary mixed items
WO2022036261A1 (en) * 2020-08-13 2022-02-17 Opsis Health, Inc. Object-recognition training

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3377465B2 (ja) * 1999-04-08 2003-02-17 ファナック株式会社 画像処理装置
JP2007101197A (ja) * 2005-09-30 2007-04-19 Nachi Fujikoshi Corp 物体探索装置，物体探索装置を備えるロボットシステム及び物体探索方法
JP5282717B2 (ja) * 2009-10-19 2013-09-04 株式会社安川電機 ロボットシステム
JP5806606B2 (ja) * 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
US10019833B2 (en) * 2012-03-20 2018-07-10 Siemens Corporation Luggage visualization and virtual unpacking
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP7071054B2 (ja) 2017-01-20 2022-05-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6983524B2 (ja) * 2017-03-24 2021-12-17 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6526100B2 (ja) * 2017-04-28 2019-06-05 ファナック株式会社 物品取出システム
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
JP6895563B2 (ja) * 2017-09-25 2021-06-30 ファナック株式会社 ロボットシステム、モデル生成方法、及びモデル生成プログラム
US20200311855A1 (en) * 2018-05-17 2020-10-01 Nvidia Corporation Object-to-robot pose estimation from a single rgb image
CN109255813B (zh) * 2018-09-06 2021-03-26 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
JP7467041B2 (ja) * 2018-09-27 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
JP7263878B2 (ja) * 2019-03-27 2023-04-25 セイコーエプソン株式会社 光スキャナー、三次元計測装置およびロボットシステム
KR102198851B1 (ko) * 2019-11-12 2021-01-05 네이버랩스 주식회사 물체의 3차원 모델 데이터 생성 방법
JP7364439B2 (ja) * 2019-11-25 2023-10-18 ファナック株式会社 Ｔｏｆセンサを用いた物体検出システム
JP7409848B2 (ja) * 2019-12-04 2024-01-09 ファナック株式会社 表示装置及び表示プログラム

Also Published As

Publication number Publication date
CN111745639A (zh) 2020-10-09
US20200311965A1 (en) 2020-10-01
US11158080B2 (en) 2021-10-26
JP2020166371A (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP5977544B2 (ja) 情報処理装置、情報処理方法
JP6271953B2 (ja) 画像処理装置、画像処理方法
JP6892286B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5743499B2 (ja) 画像生成装置、画像生成方法、およびプログラム
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP6598814B2 (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP6054831B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2012091144A4 (en) Information processing apparatus and method
CN111745639B (zh) 信息处理方法及装置、物体检测装置以及机器人系统
JP5699697B2 (ja) ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP7275759B2 (ja) 物体検出方法、物体検出装置およびロボットシステム
JP2018122376A (ja) 画像処理装置、ロボット制御装置、及びロボット
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP7439410B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6237122B2 (ja) ロボット、画像処理方法及びロボットシステム
JP2013072857A (ja) ３次元位置・姿勢認識装置およびその方法、プログラム
JP2018017610A (ja) 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム
JP2015157343A (ja) ロボット、ロボットシステム、制御装置、および制御方法
US11823414B2 (en) Information processing device, information processing method, and information processing non-transitory computer readable medium
JP2021061014A (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP2017219359A (ja) 形状測定装置、ロボット制御装置、及びロボット
CN112533739A (zh) 机器人控制装置、机器人控制方法以及机器人控制程序
WO2024048491A1 (ja) ロボットシステム、および、ロボットシステムの制御方法
JP2013158845A (ja) ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant