CN114286739B - 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法 - Google Patents

信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法 Download PDF

Info

Publication number
CN114286739B
CN114286739B CN202080060150.5A CN202080060150A CN114286739B CN 114286739 B CN114286739 B CN 114286739B CN 202080060150 A CN202080060150 A CN 202080060150A CN 114286739 B CN114286739 B CN 114286739B
Authority
CN
China
Prior art keywords
size
index
image
instruction
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080060150.5A
Other languages
English (en)
Other versions
CN114286739A (zh
Inventor
大野诚太
松田吉平
高山裕规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN114286739A publication Critical patent/CN114286739A/zh
Application granted granted Critical
Publication of CN114286739B publication Critical patent/CN114286739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40554—Object recognition to track object on conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及信息处理装置、设定装置、图像识别系统、机器人系统、设定方法、学习装置、以及学习完毕模型的生成方法。信息处理装置包括：位置检测部，检测在呈现对象物的画面上指示的所述对象物的位置亦即指示位置；尺寸检测部，检测在所述画面上指示的所述对象物的尺寸亦即指示尺寸；位置信息检测部，基于所述指示位置，检测所述对象物的实物的位置；尺寸信息检测部，基于所述指示尺寸，检测所述对象物的实物的尺寸；指标处理部，生成表示所述指示位置的位置指标与表示所述对象物的实物的尺寸的尺寸指标，并将它们显示在所述画面上；以及输出部，输出包含所述对象物的实物的位置以及尺寸的信息在内的对象物信息。

Description

信息处理装置、设定装置及方法、图像识别系统、机器人系统、 学习装置以及学习完毕模型的生成方法
相关申请的交叉引用
本申请主张于2019年8月26日向日本专利局提交的特愿2019-154103号的优先权，通过参照将其整体作为本件申请的一部分加以引用。
技术领域
本公开涉及信息处理装置、设定装置、图像识别系统、机器人系统、设定方法、学习装置、以及学习完毕模型的生成方法。
背景技术
以往，存在使用拍摄工件而得到的图像来控制动作的机器人。例如，专利文献1公开了如下装置：使用由照相机拍摄工件而得的图像，测量工件的三维位置以及姿势，并使用测量出的信息对机器人臂前端部以及机器人手进行控制。
专利文献1：日本特开2009-241247号公报
例如，在多个工件随机配置那样的作业环境中，存在两个工件重叠的情况。在这样的情况下，专利文献1的装置有可能将重叠在一起的工件检测为一个工件、或者未检测为工件。因此，需要进行检测结果中的工件的修正或者追加。
发明内容
因此，本公开的目的在于提供一种能够进行用于识别图像所包含的工件等对象物的设定的信息处理装置、设定装置、图像识别系统、机器人系统、设定方法、学习装置、以及学习完毕模型的生成方法。
为了实现上述目的，本公开的一个方式所涉及的信息处理装置包括：位置检测部，检测指示位置，该指示位置是在呈现对象物的画面上指示的上述对象物的位置；属性检测部，检测指示属性，该指示属性是在上述画面上指示的上述对象物的属性；位置信息检测部，基于上述指示位置而检测上述对象物的实物的位置；属性信息检测部，基于上述指示属性而检测上述对象物的实物的属性；指标处理部，生成表示上述指示位置的位置指标与表示上述对象物的实物的属性的属性指标，并将它们显示在上述画面上；以及输出部，输出包含上述对象物的实物的位置以及属性的信息在内的对象物信息。
本公开的另一个方式所涉及的信息处理装置包括：位置检测部，检测指示位置，该指示位置是在呈现对象物的画面上指示的上述对象物的位置；尺寸检测部，检测指示尺寸，该指示尺寸是在上述画面上指示的上述对象物的尺寸；位置信息检测部，基于上述指示位置而检测上述对象物的实物的位置；尺寸信息检测部，基于上述指示尺寸而检测上述对象物的实物的尺寸；指标处理部，生成表示上述指示位置的位置指标和表示上述对象物的实物的尺寸的尺寸指标，并将它们显示在上述画面上；以及输出部，输出包含上述对象物的实物的位置以及尺寸的信息在内的对象物信息。
本公开的另一个方式所涉及的信息处理装置包括：位置检测部，检测指示位置，该指示位置是在呈现对象物的画面上指示的上述对象物的位置；姿势检测部，检测指示姿势，该指示姿势是在上述画面上指示的上述对象物的姿势；位置信息检测部，基于上述指示位置而检测上述对象物的实物的位置；姿势信息检测部，基于上述指示姿势而检测上述对象物的实物的姿势；指标处理部，生成表示上述指示位置的位置指标与表示上述指示姿势的姿势指标，并将它们显示在上述画面上；以及输出部，输出包含上述对象物的实物的位置以及姿势的信息在内的对象物信息。
本公开的一个方式所涉及的学习装置具备：取得部，取得学习用图像、上述学习用图像所包含的对象物的位置以及属性；和学习部，将上述学习用图像作为输入数据，将上述对象物的位置以及属性作为教导数据，通过机器学习生成用于根据图像推断对象物的位置以及属性的学习完毕模型。
本公开的一个方式所涉及的学习完毕模型的生成方法构成为，取得学习用图像、上述学习用图像所包含的对象物的位置以及属性，将上述学习用图像作为输入数据，将上述对象物的位置以及属性作为教导数据，通过机器学习生成用于根据图像推断对象物的位置以及属性的学习完毕模型。
本公开的一个方式所涉及的设定装置具备：本公开的一个方式所涉及的信息处理装置；显示器，显示上述画面；以及输入装置，接受上述指示的输入并向上述信息处理装置输出。
本公开的一个方式所涉及的图像识别系统具备：本公开的一个方式所涉及的设定装置；和拍摄装置，对上述对象物的实物进行拍摄，将拍摄到的图像向上述设定装置输出。
本公开的一个方式所涉及的机器人系统具备：本公开的一个方式所涉及的图像识别系统；机器人，对上述对象物的实物进行处理作业；以及控制装置，控制上述机器人，上述控制装置使用从上述信息处理装置的上述输出部输出的上述对象物信息，识别上述对象物的实物，使上述机器人对上述对象物的实物进行处理。
本公开的一个方式所涉及的设定方法是用于对在画面上呈现的对象物的实物进行识别的上述对象物的位置以及尺寸的设定方法，在上述设定方法中，检测在上述画面上指示的上述对象物的位置亦即指示位置，检测在上述画面上指示的上述对象物的尺寸亦即指示尺寸，基于上述指示位置而检测上述对象物的实物的位置，基于上述指示尺寸而检测上述对象物的实物的尺寸，生成表示上述指示位置的位置指标与表示上述对象物的实物的尺寸的尺寸指标，并将它们显示在上述画面上，输出包含上述对象物的实物的位置以及尺寸的信息在内的对象物信息。
本公开的另一个方式所涉及的设定方法是用于对在画面上呈现的对象物的实物进行识别的上述对象物的位置以及姿势的设定方法，在上述设定方法中，检测在上述画面上指示的上述对象物的位置亦即指示位置，检测在上述画面上指示的上述对象物的姿势亦即指示姿势，基于上述指示位置而检测上述对象物的实物的位置，基于上述指示姿势而检测上述对象物的实物的姿势，生成表示上述指示位置的位置指标与表示上述指示姿势的姿势指标，并将它们显示在上述画面上，输出包含上述对象物的实物的位置以及姿势的信息在内的对象物信息。
根据本公开的技术，能够进行用于对图像所包含的对象物进行识别的设定。
附图说明
图1是表示实施方式所涉及的机器人系统的结构的一个例子的俯视图。
图2是表示实施方式所涉及的机器人系统的结构的一个例子的框图。
图3是表示实施方式所涉及的机器人的结构的一个例子的侧视图。
图4是表示实施方式所涉及的信息处理装置的硬件结构的一个例子的框图。
图5是表示实施方式所涉及的机器人控制装置的硬件结构的一个例子的框图。
图6是表示实施方式所涉及的信息处理装置的功能的结构的一个例子的框图。
图7是表示由实施方式所涉及的信息处理装置进行了图像处理的图像的一个例子的图。
图8是表示由实施方式所涉及的信息处理装置生成的瓶指标的第1重叠图像的画面的一个例子的图。
图9是表示由实施方式所涉及的信息处理装置生成的瓶指标的第2重叠图像的画面的一个例子的图。
图10是表示对由实施方式所涉及的信息处理装置修正的瓶指标进行显示的第1重叠图像的画面的一个例子的图。
图11是表示对基于实施方式所涉及的信息处理装置的修正后的瓶指标进行显示的第1重叠图像的画面的一个例子的图。
图12是表示对由实施方式所涉及的信息处理装置删除的瓶指标进行显示的第1重叠图像的画面的一个例子的图。
图13是表示基于实施方式所涉及的信息处理装置的瓶指标的删除后的第1重叠图像的画面的一个例子的图。
图14是表示对由实施方式所涉及的信息处理装置追加瓶指标的状态进行显示的第1重叠图像的画面的一个例子的图。
图15是表示对由实施方式所涉及的信息处理装置追加瓶指标的状态进行显示的第1重叠图像的画面的一个例子的图。
图16是表示基于实施方式所涉及的信息处理装置的瓶指标的追加后的第1重叠图像的画面的一个例子的图。
图17是表示对实施方式所涉及的信息处理装置的功能进行设定的画面的一个例子的图。
图18是表示实施方式所涉及的机器人系统的动作的一个例子的流程图。
图19是表示变形例所涉及的学习装置的功能的构成例的框图。
图20是表示学习用数据库的内容例的图。
图21是表示学习完毕模型的生成处理的步骤例的图。
图22是用于对学习完毕模型的生成处理进行说明的图。
图23是表示使用了学习完毕模型的识别处理的步骤例的图。
图24是用于对使用了学习完毕模型的识别处理进行说明的图。
图25是表示修正保存数据库的内容例的图。
具体实施方式
以下，参照附图对本公开的实施方式进行说明。此外，以下说明的实施方式均表示总括性或者具体的例子。另外，针对以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素进行说明。另外，附图中的各图是示意性的图，不一定是严格进行图示的图。并且，在各图中，对实质相同的构成要素标注相同的附图标记，有时省略或者简化重复的说明。另外，在本说明书以及权利要求书中，“装置”不仅可能意味着一个装置，也可能意味着由多个装置构成的系统。
＜机器人系统的结构＞
对实施方式所涉及的机器人系统1的结构进行说明。图1是表示实施方式所涉及的机器人系统1的结构的一个例子的俯视图。图2是表示实施方式所涉及的机器人系统1的结构的一个例子的框图。
如图1所示，在本实施方式中，将机器人系统1作为机器人100对随机地载置在带式输送机200上的多个对象物W进行分类的系统来进行说明。对象物W没有特别的限定，但在本实施方式中是废弃物，具体而言是空瓶(以下，也表述为“瓶W”)。此外，机器人系统1并不限定于对对象物W进行分类的系统，例如也可以是对对象物W进行拾取、配置或者加工等作业的系统。即，机器人系统1也可以是进行伴有对象物W所存在的位置或者所配置的位置的确定的作业的系统。
本实施方式所涉及的机器人系统1具备至少一个机器人100、带式输送机200、信息处理装置300、输入输出装置400、拍摄装置500、以及机器人控制装置600。如图2所示，信息处理装置300以及输入输出装置400构成设定装置10。信息处理装置300、输入输出装置400以及拍摄装置500构成图像识别系统20。
如图1所示，带式输送机200使其搬运面221朝方向D移动，将搬运面221上的瓶W朝方向D搬运。带式输送机200具备：在方向D上排列的多个辊210、架设于多个辊210的无接头环状的输送带220、以及作为对辊210进行旋转驱动的电动马达的输送机马达230。搬运面221是输送带220的朝向上方的外周面。
两个机器人100A以及100B相对于带式输送机200配置于方向D上的下游侧的两侧。机器人100A以及100B是工业用机器人。以下，有时在区分两个机器人的情况下表述为“机器人100A”以及“机器人100B”，在不区分的情况下表述为“机器人100”。
机器人100A按照机器人控制装置600的控制，将带式输送机200上的瓶W中的透明的瓶(以下，也表述为“透明瓶”)分选成与尺寸对应的两个分类的透明瓶WTL以及WTS而取出、即进行分类并投入到回收箱701L以及701S。透明瓶WTL是较大的尺寸分类(以下，也表述为“大尺寸分类”)的瓶，被投入到回收箱701L中，透明瓶WTS是较小的尺寸分类(以下，也表述为“小尺寸分类”)的瓶，被投入到回收箱701S中。
机器人100B按照机器人控制装置600的控制，将带式输送机200上的瓶W中的茶色等带颜色的瓶(以下，也表述为“带色瓶”)分选成大尺寸分类以及小尺寸分类的带色瓶WCL以及WCS而取出、即进行分类并投入到回收箱702L以及702S中。带色瓶WCL被投入到回收箱702L中，带色瓶WCS被投入到回收箱702S中。
图3是表示实施方式所涉及的机器人100的结构的一个例子的侧视图。如图1以及图3所示，机器人100A以及100B、即机器人100是具备基台110、配置于基台110的两个臂120以及130的双臂机器人。具体而言，机器人100是臂120以及130能够在以铅直方向的第1轴S1为中心的同轴上且在水平面内转动的同轴双臂机器人。臂120以及130构成水平多关节型的机器人臂。机器人100在臂120以及130各自的前端，具备用于对瓶W进行保持的末端执行器150以及160。末端执行器150以及160只要能够保持并搬运瓶W即可，在本实施方式中通过负压来吸附瓶W。末端执行器150以及160保持对象物的结构并不限定于使用吸附的结构，也可以是使用把持、捧起、吊起、卡合、粘合力以及磁力等的结构。
臂120包括连杆121～124、和臂驱动装置MA1～MA4(参照图2)。臂130包连杆131～134、和臂驱动装置MB1～MB4(参照图2)。臂驱动装置MA1～MA4以及MB1～MB4包括电动马达等，在本实施方式中包括伺服马达。臂驱动装置MA1～MA4以及MB1～MB4的驱动由机器人控制装置600控制。
第1连杆121以及131分别以能够以第1轴S1为中心在水平面内相互独立地转动的方式，经由旋转关节JTA1以及JTB1与基台110连接。第1连杆121以及131在第1轴S1的方向上错开地配置，以抑制转动时的相互干涉。第2连杆122以及132分别以能够以铅直方向的第2轴S2a以及S2b为中心在水平面内转动的方式，经由旋转关节JTA2以及JTB2与第1连杆121以及131的前端连接。第3连杆123以及133分别以能够沿着铅直方向的第3轴S3a以及S3b升降的方式，经由直动关节JTA3以及JTB3与第2连杆122以及132的前端连接。第4连杆124以及134分别以能够以第3连杆123以及133的长边方向的第4轴S4a以及S4b为中心转动的方式，经由旋转关节JTA4以及JTB4与第3连杆123以及133的下端连接。第4轴S4a以及S4b也是铅直方向的轴。第4连杆124以及134分别构成用于与末端执行器150以及160连接的机械接口。
臂驱动装置MA1～MA4分别对关节JTA1～JTA4进行驱动，使连杆121～124转动或者升降。臂驱动装置MB1～MB4分别对关节JTB1～JTB4进行驱动，使连杆131～134转动或者升降。
末端执行器150以及160具备支承体171、和以矩形状排列在支承体171上的多个吸附喷嘴170。末端执行器150以及160可以具有相同的结构，例如也可以在吸附喷嘴170的数量以及配置等方面具有不同的结构。多个吸附喷嘴170具有中空筒状的形状，经由配管与负压产生装置180(参照图2)连接。多个吸附喷嘴170借助负压产生装置180产生的负压，在其前端吸附对象物。负压产生装置180的结构只要能够使吸附喷嘴170产生负压就没有特别的限定，可以使用现有的任何结构。例如，负压产生装置180可以具有通过吸引空气而产生负压或者真空的真空泵或者气缸的结构，也可以具有通过送入压缩空气而产生负压或者真空的喷射器的结构。负压产生装置180的动作由机器人控制装置600控制。
机器人100A以及100B分别使用臂120以及末端执行器150对大尺寸分类的瓶WTL或者WCL进行搬运，使用臂130以及末端执行器160对小尺寸分类的瓶WTS或者WCS进行搬运。
如图1以及图2所示，信息处理装置300经由有线通信或者无线通信与输入输出装置400A及400B、拍摄装置500、机器人控制装置600连接。以下，有时在区分两个输入输出装置的情况下表述为“输入输出装置400A”以及“输入输出装置400B”，在不进行区分的情况下表述为“输入输出装置400”。机器人控制装置600经由有线通信或者无线通信与机器人100A及100B的臂驱动装置MA1～MA4及MB1～MB4、负压产生装置180、带式输送机200的输送机马达230、信息处理装置300连接。有线通信以及无线通信的种类没有特别的限定。例如，有线通信以及无线通信也可以包括有线或者无线LAN(Local Area Network：局域网)。
机器人控制装置600对臂驱动装置MA1～MA4及MB1～MB4、负压产生装置180、以及输送机马达230的动作进行控制。例如，机器人控制装置600从信息处理装置300接收带式输送机200上的各瓶W的信息。瓶W的信息包括关于瓶W是带颜色还是透明的颜色分类、位置、尺寸以及姿势等。机器人控制装置600基于各瓶W的信息对该瓶进行识别，使机器人100A及100B的臂120及130、和末端执行器150及160的吸附喷嘴170动作，将各瓶W分类。瓶的识别是确定该瓶的存在、颜色、位置、姿势以及尺寸等。机器人控制装置600能够使机器人100A以及100B、负压产生装置180以及带式输送机200等相互配合、协调以及/或者协同动作。
拍摄装置500在相对于机器人100A以及100B的方向D上的上游侧，配置于带式输送机200的上方，对下方的搬运面221进行拍摄。拍摄装置500将拍摄到的图像输出至信息处理装置300。拍摄装置500按照信息处理装置300的控制进行拍摄，但也可以按照机器人控制装置600的控制进行拍摄。拍摄装置500是拍摄数字图像的照相机，是能够检测到图像内的被拍摄体的距离等三维位置的照相机。这样的照相机的例如立体照相机、单眼照相机、TOF照相机(飞行时间深度照相机：Time-of-Flight-Camera)，条纹投影等图案光投影照相机、或者使用光切断法的照相机。在本实施方式中，拍摄装置500是立体照相机。此外，在本实施方式中，拍摄装置500的位置以及拍摄方向与搬运面221的拍摄对象部位的位置关系是固定且已知的，因此即使拍摄装置500是单纯的相机，也能够检测图像内的被拍摄体的三维位置。
输入输出装置400A以及400B分别具备显示器和输入装置，在本实施方式中，具备包含显示器的功能和输入装置的功能的触摸屏410。显示器的例子是液晶显示器(LiquidCrystal Display)以及有机或者无机EL显示器(Electro-Luminescence Display)，但并不限定于这些。例如，输入输出装置400A以及400B也可以是具备触摸屏410的显示器装置、智能手机及平板电脑等智能设备等。输入输出装置400A以及400B与机器人100A以及100B对应地配置。输入输出装置400A以及400B能够在触摸屏410的画面上重叠地显示由拍摄装置500拍摄到的图像、和由信息处理装置300生成的瓶指标。瓶指标是表示作为对象物的瓶W的信息的指标，是对象物指标。输入输出装置400A以及400B取得用户的手指或者笔等朝向触摸屏410的接触位置(也表述为“点击位置”)以及接触轨迹等作为输入信息，并输出至信息处理装置300。
信息处理装置300是处理并输出各种信息的装置。例如，信息处理装置300对由拍摄装置500拍摄到的图像进行图像处理，输出至输入输出装置400A以及400B并进行显示。信息处理装置300以使作为用户的操作者P能够观察输入输出装置400A以及400B的画面来进行处理的方式，将规定的时间间隔的拍摄时刻的图像的处理图像输出至输入输出装置400A以及400B。
具体而言，信息处理装置300通过对由拍摄装置500拍摄到的图像进行图像处理，提取在该图像中呈现的瓶W的像亦即瓶像WI，进而检测包括实物的瓶W的位置、尺寸、姿势以及颜色分类等在内的瓶W的信息。上述瓶W的信息是对象物信息的一个例子。
实物的瓶W的位置的信息只要是能够确定该瓶W的位置的信息即可。瓶W的位置可以是瓶W的任何部位的位置，可以由三维位置以及二维位置中的任一个表示。例如，瓶W的三维位置可以由在机器人系统1所存在的空间等中设定的三维坐标表示。瓶W的二维位置可以由以带式输送机200的搬运面221等为基准的二维坐标表示。在本实施方式中，实物的瓶W的位置是重心等瓶W的特定的点的三维位置。
实物的瓶W的姿势的信息只要是能够确定该瓶W的姿势的信息即可。瓶W的姿势可以是以瓶W的任何部位为基准的姿势，可以由三维的姿势以及二维的姿势中的任一个表示。例如，瓶W的三维的姿势可以由与瓶W的三维位置相同的三维坐标表示，瓶W的二维的姿势可以由与瓶W的二维位置相同的二维坐标表示。在本实施方式中，瓶W的姿势是瓶W的朝向，具体而言是连结瓶W的底以及入口的长边方向的朝向。
实物的瓶W的尺寸的信息只要是能够确定该瓶W的大小的程度的信息即可。瓶W的尺寸可以是瓶W的任何部位的尺寸，可以由三维尺寸以及二维尺寸中的任一个表示。尺寸例如可以是尺寸值、尺寸值的转换值、尺寸范围、尺寸范围的转换值、以及等级等。等级是按每个尺寸范围划分的等级，尺寸分类是等级的一个例子。例如，瓶W的三维尺寸可以是与瓶W的三维位置相同的三维坐标系下的尺寸，瓶W的二维尺寸可以是与瓶W的二维位置相同的二维坐标系下的尺寸。在本实施方式中，瓶W的尺寸是尺寸分类，具体而言是关于将瓶W的底以及入口连结的长边方向上的长度的尺寸分类。
信息处理装置300将瓶W的信息输出至机器人控制装置600。并且，信息处理装置300生成用于在触摸屏410上表示实物的瓶W的位置、尺寸以及姿势的瓶指标，将该瓶指标的图像数据输出至输入输出装置400A以及400B。信息处理装置300将透明瓶WTL以及WTS的瓶指标的图像数据输出至输入输出装置400A，将带色瓶WCL以及WCS的瓶指标的图像数据输出至输入输出装置400B。
另外，信息处理装置300从输入输出装置400A以及400B接收被输入至触摸屏410的信息，对该信息进行处理。例如，输入输出装置400A以及400B能够接受用于通过操作者P的操作生成新的瓶指标并显示于触摸屏410的输入。并且，输入输出装置400A以及400B能够接受用于通过操作者P的操作对显示在触摸屏410上的瓶W的瓶指标进行修正或者删除的输入。
信息处理装置300如果从输入输出装置400A或者400B接收到用于生成新瓶指标的输入信息，则根据该输入信息生成新瓶指标的图像数据并输入至输入输出装置400A或者400B。并且，信息处理装置300检测包括与新瓶指标对应的实物的瓶W的位置、尺寸、姿势以及颜色分类等在内的瓶W的信息，并输出至机器人控制装置600。
信息处理装置300如果从输入输出装置400A或者400B接收到用于对瓶指标进行修正或者删除的输入信息，则按照该输入信息生成被进行了修正或者删除的瓶指标的图像数据，并输出至输入输出装置400A或者400B。并且，信息处理装置300检测与被进行了修正或者删除的瓶指标对应的实物的瓶W的信息，并输出至机器人控制装置600。
在本实施方式中，信息处理装置300是与输入输出装置400以及机器人控制装置600不同的计算机装置。例如，信息处理装置300也可以是电子控制单元(ECU：ElectronicControl Unit)以及个人计算机等。然而，信息处理装置300也可以组装于输入输出装置400或者机器人控制装置600而一体化形成。
[信息处理装置的硬件结构]
图4是表示实施方式所涉及的信息处理装置300的硬件结构的一个例子的框图。如图4所示，信息处理装置300包括CPU(Central Processing Unit)301、ROM(Read OnlyMemory)302、RAM(Random Access Memory)303、存储器304、拍摄元件I/F(接口：Interface)305、图像处理器306、以及输入输出I/F307～309作为构成要素。上述构成要素分别经由总线、有线通信或者无线通信而连接。此外，上述构成要素并非全部是必须的。
例如，CPU301是处理器，控制信息处理装置300的动作整体。ROM302由非易失性半导体存储器等构成，储存用于使CPU301控制动作的程序以及数据等。RAM303由易失性半导体存储器等构成，临时储存由CPU301执行的程序以及处理中途或者处理完毕的数据等。存储器304由易失性存储器以及非易失性存储器等半导体存储器、硬盘(HDD：Hard DiscDrive)以及SSD(Solid State Drive)等存储装置构成。
例如，用于供CPU301执行动作的程序预先保持于ROM302或者存储器304。CPU301从ROM302或者存储器304向RAM303读出程序并展开。CPU301执行在RAM303中展开的程序中的编码后的各命令。
信息处理装置300的各功能可以通过由CPU301、ROM302以及RAM303等构成的计算机系统实现，也可以通过电子电路或者集成电路等专用的硬件电路实现，也可以通过上述计算机系统以及硬件电路的组合而实现。
这样的信息处理装置300例如由微控制器、MPU(Micro Processing Unit：微处理单元)、LSI(Large Scale Integration：大规模集成电路)、系统LSI、PLC(ProgrammableLogic Controller：可编程逻辑控制器)、逻辑电路等构成。信息处理装置300的多个功能可以通过个别地集成在一个芯片中而实现，也可以以包括一部分或者全部的方式集成在一个芯片中而实现。另外，电路可以分别是通用的电路，也可以是专用的电路。作为LSI，可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、可重构LSI内部的电路单元的连接以及/或者设定的可重构处理器、或者面向特定用途将多个功能的电路集中为一个的ASIC(Application Specific Integrated Circuit：专用集成电路)等。
拍摄元件I/F305按照CPU301的指令，对拍摄装置500的拍摄元件(未图示)的驱动进行控制。拍摄元件I/F305将由拍摄装置500拍摄到的图像的数据取入到RAM303或者存储器304。拍摄元件I/F305也可以包括拍摄元件的驱动用的电路等。
图像处理器306具备能够生成在输入输出装置400A以及400B上显示的画面的GPU(Graphics Processing Unit：图形处理单元)。图像处理器306按照CPU301的指令生成画面数据，并输出至输入输出装置400A以及400B。例如，图像处理器306生成表示对由拍摄装置500拍摄到的图像数据进行处理而生成的图像数据、以及与被输入至输入输出装置400A以及400B的信息对应地生成的信息等的画面数据。
第1输入输出I/F307与图像处理器306以及输入输出装置400A连接，相对于输入输出装置400A输入输出画面数据、信息以及指令等。第2输入输出I/F308与图像处理器306以及输入输出装置400B连接，相对于输入输出装置400B输入输出画面数据、信息以及指令等。第3输入输出I/F309与机器人控制装置600连接，相对于机器人控制装置600输入输出信息以及指令等。输入输出I/F307～309也可以包括对信号进行转换的电路等。
[机器人控制装置的硬件结构]
图5是表示实施方式所涉及的机器人控制装置600的硬件结构的一个例子的框图。如图5所示，机器人控制装置600包括CPU601、ROM602、RAM603、存储器604、输入输出I/F605、臂驱动电路606、输送机驱动电路607、负压驱动电路608、开闭驱动电路609作为构成要素。上述构成要素分别经由总线、有线通信或者无线通信而连接。此外，上述构成要素并非全部是必须的。在本实施方式中，相对于机器人100A以及100B设置有一个机器人控制装置600，但也可以针对机器人100A以及100B分别独立地设置有机器人控制装置600。
CPU601、ROM602、RAM603以及存储器604各自的结构以及功能与信息处理装置300的CPU301、ROM302、RAM303以及存储器304相同。CPU601控制机器人控制装置600的处理以及动作的整体。机器人控制装置600的各功能可以通过由CPU601、ROM602以及RAM603等构成的计算机系统实现，可以通过电子电路或者集成电路等的专用的硬件电路实现，也可以通过上述计算机系统以及硬件电路的组合而实现。
输入输出I/F605与信息处理装置300连接，相对于信息处理装置300输入输出信息以及指令等。输入输出I/F605可以包括对信号进行转换的电路等。臂驱动电路606按照CPU601的指令，向机器人100A以及100B的臂驱动装置MA1～MA4以及MB1～MB4的伺服马达供给电力而控制各伺服马达的驱动。输送机驱动电路607按照CPU601的指令，向带式输送机200的输送机马达230供给电力而控制输送机马达230的驱动。负压驱动电路608按照CPU601的指令，向负压产生装置180供给电力而控制负压产生装置180的驱动。
开闭驱动电路609按照CPU601的指令，控制开闭装置181～184的驱动。开闭装置181以及182分别将配管系统181a以及182a导通或者截断。配管系统181a以及182a分别将机器人100A的末端执行器150以及160各自的吸附喷嘴170和负压产生装置180连接。开闭装置183以及184分别将配管系统183a以及184a导通或者截断。配管系统183a以及184a分别将机器人100B的末端执行器150以及160各自的吸附喷嘴170和负压产生装置180连接。开闭装置181～184的例子是由电磁阀等构成的开闭阀。
[信息处理装置的功能的结构]
图6是表示实施方式所涉及的信息处理装置300的功能的构成的一个例子的框图。如图6所示，信息处理装置300包括拍摄控制部3001、图像处理部3002、指标处理部3003以及3004、图像合成部3005以及3006、输入解析部3007以及3008、转换部3009以及3010、功能设定部3011、存储部3012作为功能的构成要素。上述功能的构成要素并非全部是必须的。
除存储部3012外的功能的构成要素的功能通过CPU301等来实现，存储部3012的功能通过存储器304、ROM302以及/RAM303来实现。
存储部3012存储各种信息，能够进行所存储的信息的读出。存储部3012存储拍摄装置500的照相机参数、可由机器人100处理的对象的瓶的信息、瓶的颜色分类的颜色阈值、以及瓶的尺寸分类的尺寸阈值等。瓶的信息可以包括能够被处理的瓶的颜色、表面纹理、轮廓形状以及该轮廓形状的长边方向等信息。存储部3012可以存储由拍摄装置500拍摄到的图像、该图像的处理图像以及/或者程序等。
照相机参数包括外部参数和内部参数。外部参数的例子是表示拍摄装置500的位置(三维位置)以及朝向(光轴中心的朝向)等的参数。内部参数的例子是表示拍摄装置500的透镜的形变、焦距、拍摄元件的1个像素的尺寸以及光轴中心的像素坐标等的参数。像素坐标是以像素为单位的坐标，是图像上的二维坐标。
瓶的轮廓形状是从各种方向对瓶进行投影时的投影面上的轮廓形状。瓶的轮廓形状的长边方向与穿过该瓶的口以及底的长边轴向对应，表示该瓶的朝向。瓶的轮廓形状以及其长边方向被存储为模板。
颜色阈值可以是像素的亮度值的阈值。例如，可以根据表示瓶的像素的亮度值是颜色阈值以上还是不足颜色阈值，区分瓶是透明的还是带颜色的。此外，颜色分类并不限定于两个，也可以是3个以上。
尺寸阈值包括用于判定瓶的实际尺寸的实际尺寸阈值、和用于判定图像上的瓶的尺寸的图像尺寸阈值。尺寸阈值可以是瓶的长边方向的长度上的阈值。例如，可以根据瓶的长边方向的长度是尺寸阈值以上还是不足尺寸阈值，区分瓶是大尺寸分类还是小尺寸分类。此外，尺寸分类并不限定于两个，也可以是3个以上。
拍摄控制部3001控制拍摄装置500的动作。例如，拍摄控制部3001以规定的时间间隔使拍摄装置500对带式输送机200的搬运面221进行拍摄。拍摄控制部3001将由作为立体照相机的拍摄装置500在同一时刻拍摄到的两个图像建立关联而输出至存储部3012等。
图像处理部3002是第1～第3图像处理部的一个例子。图像处理部3002使用由拍摄装置500在同一时刻拍摄到的两个图像，确定在两个图像中分别呈现的瓶像，检测该瓶像的瓶的三维的位置、尺寸以及姿势。
例如，图像处理部3002分别在两个图像中提取边缘，通过图案匹配手法等对所提取的边缘和存储部3012内的瓶的轮廓形状的模板进行比较，检测瓶的边缘。并且，图像处理部3002在两个图像的至少一方，检测由瓶的边缘包围的瓶像所表示的颜色，基于存储部3012内的颜色分类，将该瓶像分类成透明瓶像与带色瓶像。
并且，图像处理部3002在两个图像的每一个中，检测各瓶像的二维的重心位置、长边方向以及该长边方向上的长度作为二维的重心位置、姿势以及尺寸。例如，瓶像的长边方向也可以是从瓶像的底朝向入口的方向。此外，图像处理部3002可以将与瓶像对应的模板所表示的轮廓形状的长边方向作为该瓶像的长边方向。
并且，图像处理部3002通过使用了存储部3012内的照相机参数的立体匹配手法等对两个图像进行处理。图像处理部3002针对与各瓶像对应的瓶、即实物的瓶，检测机器人系统1所存在的三维区间内的三维的重心位置、长边方向以及该长边方向上的长度分别作为三维的重心位置、姿势以及尺寸。例如，瓶的三维的重心位置、姿势以及尺寸可以通过对表示瓶像的二维的重心位置、姿势以及尺寸的像素进行图像处理来检测。
图像处理部3002针对两个图像的至少一方的各透明瓶像，将对该透明瓶像设定的识别信息亦即ID、该透明瓶像的颜色分类、表示该透明瓶像的二维的重心位置以及姿势的像素坐标、和与该透明瓶像对应的透明瓶的三维的重心位置、姿势以及尺寸建立关联而输出至第1指标处理部3003。图像处理部3002针对两个图像的至少一方的各带色瓶像，将对该带色瓶像设定的识别信息亦即ID、该带色瓶像的颜色分类、表示该带色瓶像的二维的重心位置以及姿势的像素坐标、与和该带色瓶像对应的带色瓶的三维的重心位置、姿势以及尺寸建立关联而输出至第2指标处理部3004。
另外，图像处理部3002使用提取瓶像的边缘而得的两个图像的一方，生成强调了瓶像的边缘的图像。图像处理部3002使用向指标处理部3003以及3004输出的瓶像的二维的重心位置以及长边方向被检测出的图像。图像处理部3002从一个图像生成仅强调了透明瓶像的边缘的第1图像、和仅强调了带色瓶像的边缘的第2图像。在图像仅包含透明瓶像的情况下，图像处理部3002以不强调边缘的方式生成第2图像。在图像仅包含带色瓶的情况下，图像处理部3002以不强调边缘的方式生成第1图像。图像处理部3002将第1图像输出至第1图像合成部3005，将第2图像输出至第2图像合成部3006。在本实施方式中，图像处理部3002通过加粗边缘来强调该边缘。边缘的强调方法没有特别的限定，也可以是使边缘成为醒目的颜色、使边缘发光、使边缘闪烁等任何方法。
例如，图7是表示由实施方式所涉及的信息处理装置300进行了图像处理的图像的一个例子的图。如图7所示，在拍摄到的图像I1包含透明瓶像WTI以及带色瓶像WCI的情况下，在第1图像I1A中仅强调透明瓶像WTI的边缘，在第2图像I1B中仅强调带色瓶像WCI的边缘。
第1指标处理部3003使用透明瓶像的二维的重心位置以及姿势、和与该透明瓶像对应的透明瓶的三维尺寸，生成用于在第1图像上表示该透明瓶的信息的瓶指标。第1指标处理部3003基于存储部3012内的实际尺寸阈值，将透明瓶的三维尺寸分类成大小的尺寸分类。第1指标处理部3003生成包含位置指标、姿势指标以及尺寸指标在内的瓶指标的图像数据。位置指标表示透明瓶的二维的重心位置，姿势指标表示透明瓶的二维的长边方向，尺寸指标表示透明瓶的尺寸分类。
图8是表示由实施方式所涉及的信息处理装置300生成的瓶指标的第1重叠图像的画面的一个例子的图。如图8所示，在本实施方式中，由第1指标处理部3003生成的瓶指标TBI的位置指标通过瓶像的重心位置为中心的圆来表示。姿势指标通过以位置指标的圆的中心为起点延伸的箭头的朝向来表示。尺寸指标由瓶指标TBI的显示方法的差异表示。例如，在瓶属于大尺寸分类的情况下，瓶指标TBI由点划线显示，在瓶属于小尺寸分类的情况下，瓶指标TBI由虚线显示，瓶指标的显示方法的差异不限定于线种的差异，也可以是使用了颜色、亮度、闪烁等的差异。另外，尺寸指标也可以通过姿势指标的箭头的长度的差异来表示。
第1指标处理部3003将透明瓶像的ID、和与该透明瓶像对应的透明瓶的瓶指标的图像数据建立关联而输出至第1图像合成部3005。瓶指标的图像数据包括瓶指标的图像、和第1图像或者第2图像上的该瓶指标的位置、姿势以及尺寸的信息。并且，第1指标处理部3003将上述透明瓶像的ID、和与上述瓶指标对应的透明瓶的三维的重心位置、三维的姿势、尺寸分类以及颜色分类建立关联而输出至机器人控制装置600。
第2指标处理部3004与第1指标处理部3003相同地，使用带色瓶像的二维的重心位置以及姿势、和与该带色瓶像对应的带色瓶的三维尺寸，生成用于在第2图像上表示该带色瓶的信息的瓶指标。第2指标处理部3004将带色瓶像的ID、和与该带色瓶像对应的带色瓶的瓶指标的图像数据建立关联而输出至第2图像合成部3006。并且，第2指标处理部3004将上述带色瓶像的ID、和与上述瓶指标对应的带色瓶的三维的重心位置、三维的姿势、尺寸分类以及颜色分类建立关联而输出至机器人控制装置600。
另外，指标处理部3003以及3004分别基于朝向输入输出装置400A以及400B的输入信息，与上述的处理同样地进行修正以及删除显示于触摸屏410的瓶指标的处理、和追加瓶指标的处理。
第1图像合成部3005使用第1图像和透明瓶的瓶指标的图像数据来合成第1图像与透明瓶的瓶指标的图像。第1图像合成部3005根据图像数据所包含的该瓶指标的位置、姿势以及尺寸的信息，使该瓶指标的图像重叠显示在第1图像上。第1图像合成部3005例如生成图8所示的第1重叠图像I1Aa而输出至输入输出装置400A并使其显示于触摸屏410。瓶指标重叠显示在与该瓶指标对应的瓶像上。
第2图像合成部3006与第1图像合成部3005相同地，使用第2图像、带色瓶的瓶指标的图像数据、和图像上的该瓶指标的位置、姿势以及尺寸的信息，生成在第2图像上重叠显示带色瓶的瓶指标的图像。第2图像合成部3006例如生成图9所示的第2重叠图像I1Ba而输出至输入输出装置400B并使其显示于触摸屏410。图9是表示由实施方式所涉及的信息处理装置300生成的瓶指标的第2重叠图像的画面的一个例子的图。
图6所示的输入解析部3007以及3008是位置检测部、尺寸检测部、姿势检测部的一个例子。第1输入解析部3007接收被输入至输入输出装置400A的触摸屏410的输入信息并对其进行解析。第2输入解析部3008接收被输入至输入输出装置400B的触摸屏410的输入信息并对其进行解析。例如，输入解析部3007以及3008通过对输入信息进行解析，从而检测针对显示中的瓶指标的修正指令以及删除指令、瓶指标的追加指令、以及各指令内容。第1输入解析部3007将检测结果输出至第1指标处理部3003以及第1转换部3009。第2输入解析部3008将检测结果输出至第2指标处理部3004以及第2转换部3010。
输入解析部3007以及3008如果在触摸屏410上检测到瓶指标的位置指标亦即圆的位置的修正指令，则检测在画面上指示的圆的修正位置，检测该修正位置上的圆的中心的像素坐标作为指示位置。输入解析部3007以及3008如果在触摸屏410上检测到作为姿势指标的箭头的朝向的修正指令，则检测在画面上指示的箭头的修正方向，检测表示该修正方向上的箭头的朝向的像素坐标、例如箭头的矢量成分作为指示姿势。例如，指示姿势也可以表示与在画面上进行的指示所形成的轨迹对应的方向。输入解析部3007以及3008如果在触摸屏410上检测到尺寸指标的修正指令，则检测在画面上指示的指示尺寸，检测与指示尺寸对应的尺寸分类(以下，也表述为“指示尺寸分类”)。例如，指示尺寸也可以是与在画面上进行的指示所形成的轨迹对应的尺寸。输入解析部3007以及3008基于指示尺寸和图像尺寸阈值的比较结果来决定指示尺寸分类。输入解析部3007以及3008在指示尺寸为图像尺寸阈值以上的情况下将指示尺寸分类决定为大尺寸分类，在不足图像尺寸阈值的情况下将指示尺寸分类决定为小尺寸分类。
第1输入解析部3007将瓶指标的ID、和与该瓶指标相对的指示位置、指示姿势以及指示尺寸分类的组建立关联，而输出至第1指标处理部3003以及第1转换部3009。瓶指标的ID是与瓶指标对应的瓶像的ID。第2输入解析部3008也同样地将瓶指标的ID、与和该瓶指标相对的指示位置、指示姿势以及指示尺寸分类的组建立关联，而输出至第2指标处理部3004以及第2转换部3010。指标处理部3003以及3004分别基于从输入解析部3007以及3008接收的上述那样的信息，对位置指标、姿势指标以及尺寸指标进行修正，从而修正瓶指标，将修正后的瓶指标的ID以及图像数据输出至图像合成部3005以及3006，将修正前的瓶指标替换为修正后的瓶指标而显示在触摸屏410上。
例如，图10是表示对由实施方式所涉及的信息处理装置300修正的瓶指标进行显示的第1重叠图像的画面的一个例子的图。图11是表示对基于实施方式所涉及的信息处理装置300的修正后的瓶指标进行显示的第1重叠图像的画面的一个例子的图。如图10所示，例如，在将要对触摸屏410上的透明瓶像WTIa的瓶指标TBIa的位置指标进行修正的情况下，通过操作者的手指等的点击来选择瓶指标TBIa的圆TBIa1的圆周，使点击位置滑动，从而使得圆TBIa1以与点击位置的滑动方向以及滑动量对应的方向以及移动量移动。若手指从触摸屏410离开，则圆TBIa1的移动停止。在上述过程中，第1输入解析部3007检测圆TBIa1的圆周上的点击作为位置指标的修正指令，检测与点击位置的滑动方向以及滑动量对应地移动的圆TBIa1的中心的像素坐标作为指示位置。指示位置是与点击位置所形成的轨迹对应的位置。如图11所示，第1指标处理部3003生成与中心一同移动的圆TBIa1的图像数据并显示在触摸屏410上。
另外，如图10所示，例如在将要对瓶指标TBIa的姿势指标进行修正的情况下，通过手指等的点击来选择瓶指标TBIa的箭头TBIa2，使点击位置在与箭头TBIa2交叉的方向上滑动，从而使得箭头TBIa2以与手指的滑动方向以及滑动量对应的方向以及角度量，以圆TBIa1的中心为中心转动，改变其朝向。若手指从触摸屏410离开，则箭头TBIa2的转动停止。在上述过程中，第1输入解析部3007检测箭头TBIa2上的点击作为姿势指标的修正指令，检测与点击位置的滑动方向以及滑动量对应地转动的箭头TBIa2的矢量的像素坐标作为指示姿势。指示姿势是与点击位置所形成的轨迹对应的方向。如图11所示，第1指标处理部3003生成与矢量一同转动的箭头TBIa2的图像数据并显示在触摸屏410上。
另外，如图10所示，例如在将要对透明瓶像WTIb的瓶指标TBIb的尺寸指标进行修正的情况下，通过手指等的点击而选择瓶指标TBIb的箭头TBIb2，使点击位置沿箭头TBIb2的轴向滑动。由此，箭头TBIb2以与点击位置的滑动量对应的距离在滑动方向上伸长或者缩短，改变其长度。若手指从触摸屏410离开，则箭头TBIa2的长度返回至伸缩前的长度。
在上述过程中，第1输入解析部3007检测箭头TBIa2上的点击作为尺寸指标的修正指令，检测箭头TBIb2的朝向上的从圆TBIb1的中心到点击位置的距离作为指示尺寸。指示尺寸是与点击位置所形成的轨迹对应的尺寸。并且，第1输入解析部3007对上述距离和图像尺寸阈值进行比较，从而决定指示尺寸分类。第1指标处理部3003生成按照上述距离使箭头TBIa2伸缩且与指示尺寸分类对应地改变瓶指标的线种的瓶指标TBIb的图像数据，并显示在触摸屏410上。在图10中，瓶指标TBIb由表示误检测出的小尺寸分类的虚线示出，在尺寸指标的修正后的图11中，瓶指标TBIb由表示大尺寸分类的点划线示出。另外，瓶指标的线种根据手指的移动中的尺寸分类的变化而改变，因此用户能够在尺寸指标的修正动作中确认尺寸分类。
并且，若通过手指等的点击而选择了在图11所示的触摸屏410上显示的按钮“决定”，则第1指标处理部3003针对从当前时刻起最近受到了变更的瓶指标，决定该瓶指标所受的变更。上述变更包括瓶指标的修正、删除以及追加。第1输入解析部3007将决定变更的瓶指标的位置指标、姿势指标以及尺寸指标与ID一同输出至第1转换部3009。另外，若选择在触摸屏410上显示的按钮“还原”，则第1指标处理部3003针对从当前时刻起最近受到了变更的瓶指标，将该瓶指标所受的变更取消并返回至原来的状态亦即变更前的状态。另外，若选择在触摸屏410上显示的按钮“重新进行”，则第1指标处理部3003针对因按钮“还原”的选择而返回至变更前的状态的瓶指标，恢复所取消的变更并返回至该变更后的状态。第2指标处理部3004也按照按钮的选择与第1指标处理部3003同样地动作。
第1输入解析部3007如果在输入输出装置400A的触摸屏410上检测到瓶指标的删除指令，则将该瓶指标的ID与该瓶指标的删除指令输出至第1指标处理部3003以及第1转换部3009。第2输入解析部3008如果在输入输出装置400B的触摸屏410上检测到瓶指标的删除指令，则将该瓶指标的ID与该瓶指标的删除指令输出至第2指标处理部3004以及第2转换部3010。指标处理部3003以及3004分别将相应的瓶指标ID及其图像的删除指令输出至图像合成部3005以及3006，并删除该瓶指标的画面显示。
图12是表示对由实施方式所涉及的信息处理装置300删除的瓶指标进行显示的第1重叠图像的画面的一个例子的图。图13是表示基于实施方式所涉及的信息处理装置300的瓶指标的删除后的第1重叠图像的画面的一个例子的图。在图12中，带色瓶像WCIc的瓶指标TBIc被错误地显示在触摸屏410上，是删除对象。而且，通过手指等的点击而选择瓶指标TBIc的圆TBIc1的圆周的内侧区域，从而将瓶指标TBIc删除。在上述过程中，第1输入解析部3007检测圆TBIc1的圆周的内侧区域上的点击作为瓶指标TBIc的删除指令，第1指标处理部3003如图13所示将瓶指标TBIc的图像从触摸屏410上删除。
输入解析部3007以及3008如果在触摸屏410上检测到瓶指标的位置指标的追加指令，则检测在画面上指示的位置的像素坐标作为指示位置。输入解析部3007以及3008如果在触摸屏410上检测到姿势指标的追加指令，则检测表示在画面上指示的方向的像素坐标作为指示姿势。输入解析部3007以及3008如果在触摸屏410上检测到尺寸指标的追加指令，则检测在画面上指示的尺寸作为指示尺寸。并且，输入解析部3007以及3008在指示尺寸为图像尺寸阈值以上的情况下将指示尺寸分类决定为大尺寸分类，在图像尺寸不足阈值的情况下将指示尺寸分类决定为小尺寸分类。
输入解析部3007以及3008分别将新瓶指标的ID、与和该瓶指标相对应的指示位置、指示姿势以及指示尺寸分类的组建立关联，而输出至第1指标处理部3003及第1转换部3009、第2指标处理部3004及第2转换部3010。指标处理部3003以及3004分别基于从输入解析部3007以及3008接收到的上述那样的信息，生成包含新位置指标、新姿势指标以及新尺寸指标在内的新瓶指标，将该新瓶指标的ID以及图像数据输出至图像合成部3005以及3006并显示在触摸屏410上。
图14以及图15是表示对通过实施方式所涉及的信息处理装置300追加瓶指标的状态进行显示的第1重叠图像的画面的一个例子的图。图16是表示基于实施方式所涉及的信息处理装置300的瓶指标的追加后的第1重叠图像的画面的一个例子的图。在图14中，在透明瓶像WTId上没有错误地显示瓶指标，透明瓶像WTId是瓶指标的追加对象。然后，通过手指等的点击在透明瓶WTd的像上指定新瓶指标TBId的新位置指标的指示位置，以指示位置为中心而显示新位置指标的圆TBId1。接着，如图15所示，进行点击的手指在滑动后从触摸屏410离开，从而如图16所示，在与点击位置的滑动方向对应的方向上显示表示新姿势指标的箭头TBId2。并且，新瓶指标TBId由作为表示与点击位置的滑动量对应的尺寸分类的尺寸指标的线种的点划线示出。
在上述过程中，第1输入解析部3007检测不存在瓶指标的位置上的点击作为新位置指标的追加指令，检测点击位置的图像坐标作为指示位置，第1指标处理部3003将指示位置的像素坐标作为新位置指标的像素坐标。第1输入解析部3007检测从指示位置起的点击位置的移动作为新姿势指标以及新尺寸指标的追加指令。第1输入解析部3007根据点击位置的轨迹，检测表示点击位置的滑动方向的像素坐标作为指示姿势，第1指标处理部3003将指示姿势的像素坐标作为新姿势指标的像素坐标。第1输入解析部3007检测从上述滑动方向上的指示位置到点击位置的距离作为指示尺寸，对指示尺寸与图像尺寸阈值进行比较，从而决定指示尺寸分类。第1指标处理部3003将指示尺寸分类设为新尺寸指标所示的尺寸分类。并且，如图16所示，第1指标处理部3003基于新位置指标、新姿势指标以及新尺寸指标，生成新瓶指标TBId的图像数据并显示在触摸屏410上。
在上述说明中，例示了基于向输入输出装置400A的触摸屏410的输入信息的第1输入解析部3007的处理内容，但第2输入解析部3008也基于向输入输出装置400B的触摸屏410的输入信息，执行与第1输入解析部3007相同的处理。
转换部3009以及3010是位置信息检测部、尺寸信息检测部、姿势信息检测部、输出部的一个例子。转换部3009以及3010分别转换从输入解析部3007以及3008接收到的信息而检测瓶的信息亦即对象物信息，将该对象物信息输出至机器人控制装置600。具体而言，转换部3009以及3010转换与修正、删除或者追加对象的瓶指标相对的指示位置、指示姿势以及指示尺寸分类，从而检测与上述瓶指标对应的瓶的三维的重心位置、三维的姿势以及尺寸分类。在本实施方式中，指示尺寸分类与瓶的尺寸分类是相同的结构，但也可以不同而相互关联。上述检测能够通过与用于根据图像检测瓶像的瓶的三维的位置、尺寸以及姿势的图像处理部3002的运算相同的运算等来进行。转换部3009以及3010向机器人控制装置600输出对象物信息，该对象物信息将与修正、删除或者追加的瓶指标对应的瓶的三维的重心位置、三维的姿势、尺寸分类以及颜色分类、和该瓶的ID以建立关联的方式包含在内。机器人控制装置600使用接收到的对象物信息来识别瓶并控制机器人100A以及100B。
功能设定部3011按照从输入输出装置400A以及400B接收到的指令，设定信息处理装置300的功能。图17是表示设定实施方式所涉及的信息处理装置300的功能的画面的一个例子的图。例如，若通过手指等的点击而选择了在图16所示的触摸屏410上显示的按钮“设定”，则功能设定部3011使该触摸屏410显示例如图17所示的功能设定画面FS，接受信息处理装置300的功能设定。功能设定画面FS显示至少一个设定项目，在本实施方式中显示“检测等级”、“圆尺寸”以及“大小判定长度”的设定项目。另外，若选择在触摸屏410上显示的按钮“返回”，则功能设定部3011关闭功能设定画面FS。
“检测等级”是用于设定由拍摄装置500拍摄到的图像中的瓶的识别精度的项目，例如能够进行“高精度”、“标准”以及“低精度”这三个精度等级的设定。瓶的识别精度可以包括瓶本身的识别精度、瓶的颜色、形状、尺寸以及位置等的识别精度。“圆尺寸”是用于设定表示瓶指标的位置指标的“圆”的触摸屏410上的显示尺寸的项目，能够进行“大”、“中”以及“小”这三个尺寸等级的设定。“大小判定长度”是用于设定瓶的尺寸分类的实际尺寸阈值以及图像尺寸阈值的项目，能够进行“长”、“中”以及“短”这三个长度等级的设定。
若选择在各项目的等级旁边显示的倒三角形标记，则功能设定部3011显示该项目的可设定的等级。功能设定部3011将从所显示的等级中选择的等级决定为该项目的等级，并通知给信息处理装置300的各功能的构成要素。例如，功能设定部3011将所决定的“检测等级”通知给图像处理部3002。功能设定部3011将所决定的“圆尺寸”通知给指标处理部3003以及3004。功能设定部3011将所决定的“大小判定长度”通知给输入解析部3007以及3008、指标处理部3003以及3004等。
＜机器人系统的动作＞
对实施方式所涉及的机器人系统1的动作进行说明。具体而言，对机器人系统1使机器人控制装置600识别带式输送机200上的瓶的动作进行说明。图18是表示实施方式所涉及的机器人系统1的动作的一个例子的流程图。
如图18所示，在步骤S101中，信息处理装置300使拍摄装置500以规定的时间间隔对带式输送机200的搬运面221进行拍摄，接收拍摄到的图像数据。
接着，在步骤S102中，信息处理装置300对图像数据进行图像处理，从而生成强调显示了透明瓶像的边缘的第1图像、和强调显示了带色瓶像的边缘的第2图像。
接着，在步骤S103中，信息处理装置300检测第1图像上的透明瓶像以及第2图像上的带色瓶像的位置指标、姿势指标以及尺寸指标，生成瓶指标。信息处理装置300生成将透明瓶像的瓶指标重叠显示在第1图像的瓶像上的第1重叠图像，并显示于输入输出装置400A。信息处理装置300生成将带色瓶像的瓶指标重叠显示在第2图像的瓶像上的第2重叠图像，并显示于输入输出装置400B。在本实施方式中，第1重叠图像以及第2重叠图像是静止图像，但并不限定于此，也可以是动态图像。
接着，在步骤S104中，信息处理装置300将与透明瓶像的瓶指标以及带色瓶像的瓶指标分别对应的实物的透明瓶的信息以及实物的带色瓶的信息输出至机器人控制装置600。瓶的信息包括该瓶的ID、三维的重心位置、三维的姿势、尺寸分类以及颜色分类。机器人控制装置600基于实物的透明瓶以及带色瓶的信息来识别各瓶。
在以下的步骤S105及其以后，信息处理装置300进行与向输入输出装置400A的输入信息对应的处理、与向输入输出装置400B的输入信息对应的处理，但由于都是相同的处理，因此仅对与向输入输出装置400A的输入信息对应的处理进行说明。
在步骤S105中，信息处理装置300判定是否检测到对瓶指标进行修正的输入、即修正指令，在检测到的情况下(在步骤S105中为是)进入步骤S106，在未检测到的情况下(步骤S105中为否)进入步骤S108。
在步骤S106中，信息处理装置300按照瓶指标的修正指令的内容，修正该瓶指标的位置指标、姿势指标以及/或者尺寸指标，将修正后的瓶指标显示于输入输出装置400A。例如图10所示，通过使表示位置指标的圆移动来进行位置指标的修正。通过使表示姿势指标的箭头转动来进行姿势指标的修正。通过使上述箭头伸缩来进行尺寸指标的修正。
接着，在步骤S107中，信息处理装置300对包括与修正后的瓶指标对应的瓶的ID、三维的重心位置、三维的姿势、尺寸分类以及颜色分类在内的实物的瓶的信息进行修正，并输入至机器人控制装置600。机器人控制装置600对机器人100A的处理对象的瓶的信息中的与修正后的瓶指标对应的瓶的信息进行修正，识别该瓶。信息处理装置300进入步骤S114。
在步骤S108中，信息处理装置300判定是否检测到将瓶指标删除的输入、即删除指令，在检测到的情况下(步骤S108中为是)进入步骤S109，在未检测到的情况下(步骤S108中为否)进入步骤S111。
在步骤S109中，信息处理装置300按照瓶指标的删除指令，使删除了该瓶指标的画面显示于输入输出装置400A。例如图12所示，通过指定表示该瓶指标的位置指标的圆的内侧区域来进行瓶指标的删除。
接着，在步骤S110中，信息处理装置300将与删除对象的瓶指标对应的瓶的信息输出至机器人控制装置600。机器人控制装置600将删除对象的瓶的信息从机器人100A的处理对象的瓶的信息除去。信息处理装置300进入步骤S114。
在步骤S111中，信息处理装置300判定是否检测到追加瓶指标的输入、即追加指令，在检测到的情况下(步骤S111中为是)进入步骤S112，在未检测到的情况下(步骤S111中为否)进入步骤S114。
在步骤S112中，信息处理装置300按照瓶指标的追加指令的内容，检测新瓶指标的位置指标、姿势指标以及尺寸指标，将该新瓶指标显示于输入输出装置400A。例如图14以及图15所示，在指定了表示新位置指标的圆的中心位置后，从上述中心位置延伸出与新姿势指标以及新尺寸指标对应的箭头，从而进行瓶指标的追加。
接着，在步骤S113中，信息处理装置300追加检测包含与新瓶指标对应的瓶的ID、三维的重心位置、三维的姿势、尺寸分类以及颜色分类在内的实物的瓶的信息，并输出至机器人控制装置600。机器人控制装置600将与新瓶指标对应的瓶的信息添加到机器人100A的处理对象的瓶的信息中，并识别该瓶。信息处理装置300进入步骤S114。
在步骤S114中，信息处理装置300判定是否是由拍摄装置500新拍摄图像的时机，在是该时机的情况下(步骤S114中为是)返回到步骤S101，在还未到达该时机的情况下(步骤S114中为否)返回至步骤S105。信息处理装置300可以具备用于计时的计时器或者时钟。
如上述那样，信息处理装置300在每次由拍摄装置500拍摄图像时，使用该图像生成并显示第1重叠图像以及第2重叠图像，将与各重叠图像所包含的瓶指标分别对应的瓶的三维的重心位置、三维的姿势、尺寸分类以及颜色分类输出至机器人控制装置600。并且，信息处理装置300如果进行瓶指标的修正、删除或者追加，则将与修正、删除或者追加的瓶指标对应的瓶的三维的重心位置、三维的姿势、尺寸分类以及颜色分类等信息输出至机器人控制装置600。操作者能够在画面上目视确认第1重叠图像以及第2重叠图像来判断瓶指标的适当或者不适当，并在该画面上进行瓶指标的修正、删除或者追加。在本实施方式中，仅通过画面上的点击以及滑动的组合，就能够进行瓶指标的修正、删除以及追加。机器人控制装置600不仅能够使用由信息处理装置300自动检测到的瓶的信息，还能够使用与由操作者进行了修正、删除或者追加的瓶指标对应的瓶的信息来识别各瓶并控制机器人100A以及100B。
＜效果等＞
在实施方式所涉及的信息处理装置300中，输入解析部3007以及3008作为位置检测部发挥功能，检测在呈现作为对象物的瓶的画面上指示的瓶的指示位置，并且作为尺寸检测部发挥功能，检测在画面上指示的瓶的指示尺寸。转换部3009以及3010作为位置信息检测部发挥功能，基于指示位置检测瓶的实物的位置，并且作为尺寸信息检测部发挥功能，基于指示尺寸检测瓶的实物的尺寸，作为输出部而输出包含瓶的实物的位置以及尺寸的信息在内的对象物信息。指标处理部3003以及3004生成表示指示位置的位置指标与表示瓶的实物的尺寸的尺寸指标并显示在画面上。此外，输入解析部3007以及3008也可以检测与在画面上进行的指示所形成的轨迹对应的尺寸作为指示尺寸。
根据上述结构，信息处理装置300基于在呈现瓶的画面上指示的瓶的位置以及尺寸，检测并输出瓶的实物的位置以及尺寸。由此，信息处理装置300能够进行用于识别图像所包含的瓶的实物的画面上的设定。并且，信息处理装置300生成瓶的位置指标以及尺寸指标、即表示所指示的内容的指标，并显示在画面上。由此，容易进行画面上的瓶的位置以及尺寸的识别。
另外，转换部3009以及3010也可以将对象物信息输出到控制对瓶的实物进行处理作业的机器人100A以及100B的机器人控制装置600。根据上述结构，机器人控制装置600能够使用对象物信息来识别瓶的实物，并基于识别结果使机器人100A以及100B进行瓶的处理作业。由此，能够提高机器人100A以及100B的作业精度。
另外，在实施方式所涉及的信息处理装置300中，图像处理部3002也可以作为第1图像处理部发挥功能，通过对呈现瓶的图像进行处理从而从该图像中提取瓶，对所提取的瓶的实物的位置以及尺寸进行检测。并且，指标处理部3003以及3004也可以生成并显示与由图像处理部3002检测到的瓶的实物的位置以及尺寸对应的位置指标以及尺寸指标。根据上述结构，信息处理装置300通过对呈现瓶的图像进行处理，从而能够自动生成并显示该瓶的位置指标以及尺寸指标。
另外，输入解析部3007以及3008可以检测在画面上添加的对位置指标的修正或者删除的指示，并根据该指示对指示位置进行修正或者删除。并且，转换部3009以及3010可以基于被进行了修正或者删除的指示位置，对瓶的实物的位置的信息进行修正或者删除，输出包含该位置的信息在内的对象物信息。并且，指标处理部3003以及3004也可以基于被进行了修正或者删除的指示位置，对位置指标进行修正或者删除。根据上述结构，信息处理装置300能够受理对画面上显示的位置指标的修正以及删除，将该修正以及删除反映到该位置指标以及与该位置指标对应的瓶的实物的位置的信息。
另外，输入解析部3007以及3008可以检测在画面上添加的对尺寸指标的修正或者删除的指示，并按照该指示对指示尺寸进行修正或者删除。并且，转换部3009以及3010基于被进行了修正或者删除的指示尺寸，对瓶的实物的尺寸的信息进行修正或者删除，输出包含该尺寸的信息在内的对象物信息。并且，指标处理部3003以及3004可以基于被进行了修正或者删除的瓶的实物的尺寸，对尺寸指标进行修正或者删除。根据上述结构，信息处理装置300能够受理对画面上显示的尺寸指标的修正以及删除，将该修正以及删除反映到该尺寸指标以及与该尺寸指标对应的瓶的实物的尺寸的信息。
在实施方式所涉及的信息处理装置300中，输入解析部3007以及3008作为位置检测部发挥功能，检测呈现瓶的画面上的瓶的指示位置，并且作为姿势检测部发挥功能，检测在画面上指示的瓶的指示姿势。转换部3009以及3010作为位置信息检测部发挥功能，基于指示位置检测瓶的实物的位置，并且作为姿势信息检测部发挥功能，基于指示姿势检测瓶的实物的姿势，输出包含瓶的实物的位置以及姿势的信息在内的对象物信息。指标处理部3003以及3004生成表示指示位置的位置指标和表示指示姿势的姿势指标并显示在画面上。此外，输入解析部3007以及3008可以检测与在画面上进行的指示所形成的轨迹对应的方向作为指示姿势。
根据上述结构，信息处理装置300基于在呈现瓶的画面上指示的瓶的位置以及姿势，检测并输出瓶的实物的位置以及姿势。由此，信息处理装置300能够进行用于识别图像所包含的瓶的实物的画面上的设定。并且，信息处理装置300生成瓶的位置指标以及姿势指标并显示在画面上，因此容易进行在画面上的瓶的位置以及姿势的识别。
并且，也可以构成为，输入解析部3007以及3008检测在画面上指示的瓶的指示尺寸，转换部3009以及3010基于该指示尺寸，检测瓶的实物的尺寸，并输出还包含该尺寸的信息的对象物信息。并且，指标处理部3003以及3004可以进一步生成瓶的尺寸指标并显示在画面上。根据上述结构，信息处理装置300基于在画面上指示的指示位置、指示姿势以及指示尺寸，检测并输出瓶的实物的位置、姿势以及尺寸。由此，信息处理装置300提高实物的瓶的识别精度。并且，信息处理装置300生成瓶的位置指标、姿势指标以及尺寸指标并显示在画面上，因此容易进行画面上的瓶的位置、姿势以及尺寸的识别。
另外，也可以构成为，图像处理部3002通过对呈现瓶的图像进行处理来确定该瓶的实物的位置以及姿势，指标处理部3003以及3004生成并显示与该瓶的实物的位置以及姿势对应的位置指标以及姿势指标。根据上述结构，信息处理装置300通过对呈现瓶的图像进行处理，从而能够自动生成并显示该瓶的位置指标以及姿势指标。
并且，也可以构成为，图像处理部3002作为第2图像处理部发挥功能，通过对呈现瓶的图像进行处理来检测该瓶的实物的尺寸，指标处理部3003以及3004生成并显示与该瓶的实物的尺寸对应的尺寸指标。根据上述结构，信息处理装置300通过对呈现瓶的图像进行处理，从而能够自动生成并显示该瓶的位置指标、姿势指标以及尺寸指标。
另外，也可以构成为，输入解析部3007以及3008检测在画面上添加的对姿势指标的修正或者删除的指示，并根据该指示对指示姿势进行修正或者删除。并且，转换部3009以及3010可以基于被进行了修正或者删除的指示姿势，对瓶的实物的姿势的信息进行修正或者删除，输出包含该姿势的信息的对象物信息。并且，指标处理部3003以及3004可以基于被进行了修正或者删除的指示姿势对姿势指标进行修正或者删除。根据上述结构，信息处理装置300能够受理对画面上显示的姿势指标的修正以及删除，将该修正以及删除反映到与该姿势指标以及该姿势指标对应的瓶的实物的姿势的信息。
另外，实施方式所涉及的设定装置10具备信息处理装置300、和输入输出装置400A以及400B，输入输出装置400A以及400B具备显示画面的显示器、和接受指示的输入并向信息处理装置300输出的输入装置。例如，输入输出装置400A以及400B也可以具备包含显示器的功能和输入装置的功能的触摸屏410。根据上述结构，得到与实施方式所涉及的信息处理装置300相同的效果。并且，设定装置10能够进行用于识别图像所包含的瓶的实物的设定的输入。
另外，实施方式所涉及的图像识别系统20具备设定装置10、和对瓶的实物进行拍摄且将拍摄到的图像输出至设定装置10的拍摄装置500。根据上述结构，得到与实施方式所涉及的信息处理装置300相同的效果。并且，图像识别系统20能够进行用于拍摄瓶的实物并识别拍摄到的图像所包含的瓶的实物的设定。
另外，在实施方式所涉及的图像识别系统20中，信息处理装置300的图像处理部3002可以作为第3图像处理部发挥功能，通过对拍摄瓶的实物而得的图像进行处理从而检测该瓶的实物的位置、尺寸以及姿势。并且，指标处理部3003以及3004可以生成与由图像处理部3002检测到的瓶的实物的位置、尺寸以及姿势对应的位置指标、尺寸指标以及姿势指标，并将它们显示在显示器的画面上。根据上述结构，图像识别系统20能够使用由拍摄装置500拍摄到的图像，自动生成并显示瓶的位置指标、姿势指标以及尺寸指标。
另外，实施方式所涉及的机器人系统1具备图像识别系统20、进行对瓶的实物的处理作业的机器人100A及100B、以及控制机器人100A及100B的机器人控制装置600，机器人控制装置600使用从信息处理装置300输出的对象物信息，识别瓶的实物，使机器人100A以及100B对瓶的实物进行处理。根据上述结构，机器人系统1能够使用由拍摄装置500拍摄到的图像，自动检测实物的瓶的位置、姿势以及尺寸，并应用于机器人100A以及100B的控制。并且，机器人系统1能够经由输入输出装置400A以及400B的画面，接受瓶的位置指标、姿势指标以及/或者尺寸指标的设定，并将所接受的设定反映到实物的瓶的位置、姿势以及尺寸。由此，机器人系统1能够进行机器人100A以及100B的高精度的控制。
＜其他的实施方式＞
以上，对本公开的实施方式的例子进行了说明，但本公开并不限定于上述实施方式。即，能够在本公开的范围内进行各种变形以及改进。例如，对实施方式实施了各种变形的方式、以及组合不同的实施方式中的构成要素而构建的方式也包含在本公开的范围内。
例如，在实施方式中，作为对象物指标的瓶指标包含位置指标、姿势指标以及尺寸指标，但对象物指标所包含的指标并不限定于此。对象物指标也可以包含位置指标、姿势指标以及尺寸指标的至少一个。例如，对象物指标在对象物的位置预先已知的情况下可以不包含位置指标，在对象物像球体那样不具有朝向的情况下可以不包含姿势指标，在各对象物的尺寸相同的情况下可以不包含尺寸指标。并且，信息处理装置300处理的对象物信息也可以包含对象物的实物的位置、姿势以及尺寸的信息的至少一个。
另外，在实施方式中，作为将针对瓶指标的修正、删除以及追加的信息向输入输出装置400A以及400B输入的方法，使用利用手指或者笔等对触摸屏410的点击以及滑动的组合的输入方法，但不限定于此。只要是能够检测位置、方向以及距离的输入方法即可。例如，方向以及距离的输入也可以是指定起点位置以及终点位置的输入。
另外，在实施方式中，信息处理装置300的输入解析部3007以及3008检测输入到触摸屏410的指示尺寸的尺寸分类，并将其输出到转换部3009以及3010，但不限定于此。例如，转换部3009以及3010也可以根据从输入解析部3007以及3008接收到的指示尺寸来检测尺寸分类。另外，也可以不使用尺寸分类。例如，输入解析部3007以及3008可以向转换部3009以及3010输出指示尺寸，转换部3009以及3010可以使用指示尺寸来检测实物的瓶的尺寸。
另外，在实施方式中，输入输出装置400A以及400B为了进行画面显示且接受对瓶指标的修正、删除以及追加的信息的输入而具备触摸屏410，但不限定于此。例如，输入输出装置400A以及400B可以分离地具备进行画面显示的显示器、和接受输入的输入装置。例如，输入输出装置400A以及400B也可以构成为按照向输入装置输入的指令，使显示器画面上的指针以及光标等指示要素动作。输入装置例如可以是包括十字按钮、按钮开关、控制杆、拨盘、操纵杆、鼠标、按键等的装置。
另外，在实施方式中，信息处理装置300对由拍摄装置500拍摄到的同一图像进行处理，生成强调了透明瓶的边缘的第1图像、和强调了带色瓶的边缘的第2图像，但并不限定于此。例如，也可以与机器人100对应地设置多个拍摄装置500。而且，信息处理装置300也可以对由与第1机器人100A对应的第1拍摄装置500拍摄到的图像进行处理而生成第1图像，对由与第2机器人100B对应的第2拍摄装置500拍摄到的图像进行处理而生成第2图像。
另外，多个信息处理装置300也可以通过与机器人100对应等来设置。例如，也可以构成为，与第1机器人100A对应的第1信息处理装置300进行与第1图像相关的处理，与第2机器人100B对应的第2信息处理装置300进行与第2图像相关的处理。
另外，在实施方式中，机器人100是水平多关节型的工业用机器人，但不限定于此，机器人100例如也可以构成为垂直多关节型机器人、极坐标型机器人、圆筒坐标型机器人、直角坐标型机器人、或者其他工业用机器人。机器人100也可以是工业用机器人以外的机器人，也可以是服务机器人、建筑机械、起重机、货物装卸车、以及人形机器人等。服务机器人是在护理、医疗、清洁、安保、指导、救助、烹饪、商品提供等各种服务业中使用的机器人。
另外，本公开的技术也可以是设定方法。例如，本公开的一个方式所涉及的设定方法是用于识别在画面上呈现的对象物的实物的上述对象物的位置以及尺寸的设定方法，检测在上述画面上指示的上述对象物的位置亦即指示位置，检测在上述画面上指示的上述对象物的尺寸亦即指示尺寸，基于上述指示位置而检测上述对象物的实物的位置，基于上述指示尺寸而检测上述对象物的实物的尺寸，生成表示上述指示位置的位置指标和表示上述对象物的实物的尺寸的尺寸指标并显示在上述画面上，输出包含上述对象物的实物的位置以及尺寸的信息在内的对象物信息。
另外，本公开的另一个方式所涉及的设定方法是用于识别在画面上呈现的对象物的实物的上述对象物的位置以及姿势的设定方法，检测在上述画面上指示的上述对象物的位置亦即指示位置，检测在上述画面上指示的上述对象物的姿势亦即指示姿势，基于上述指示位置而检测上述对象物的实物的位置，基于上述指示姿势而检测上述对象物的实物的姿势，生成表示上述指示位置的位置指标与表示上述指示姿势的姿势指标并显示在上述画面上，输出包含上述对象物的实物的位置以及姿势的信息在内的对象物信息。
在本公开的另一个方式所涉及的设定方法中，也可以构成为，检测在上述画面上指示的上述对象物的尺寸亦即指示尺寸，基于上述指示尺寸而检测上述对象物的实物的尺寸，还生成表示上述对象物的实物的尺寸的尺寸指标并显示在上述画面上，输出还包含上述对象物的实物的尺寸的信息在内的上述对象物信息。
根据上述设定方法，得到与上述信息处理装置300等相同的效果。这样的设定方法可以通过CPU、LSI等电路、IC卡或者单体的模块等实现。
另外，本公开的技术可以是用于执行上述设定方法的程序，也可以是记录有上述程序的非临时性的计算机可读取的记录介质。另外，上述程序当然可以经由因特网等传输介质而流通。
另外，在上述说明中使用的序数、数量等数字全部是为了对本公开的技术进行具体说明而例示的，本公开并不限于例示的数字。另外，构成要素间的连接关系是为了对本公开的技术进行具体说明而例示的，实现本公开的功能的连接关系并不限定于此。
另外，功能框图中的块的分割是一个例子，也可以将多个块作为一个块来实现、将一个块分割为多个、以及/或者将一部分的功能转移到其他块中。另外，也可以由单一的硬件或者软件并行或者分时地处理具有类似功能的多个块的功能。
[变形例]
以下，对实施方式的变形例进行说明。在本例中，上述图6所示的信息处理装置300的图像处理部3002使用通过机器学习预先生成的学习完毕模型，从由拍摄装置500生成的照相机图像中检测瓶的位置、颜色、以及尺寸等，从而实现识别精度的提高。
在以下的说明中，对生成学习完毕模型的学习阶段、使用学习完毕模型的运用阶段、以及学习完毕模型的再学习分别详细地进行说明。
(1)学习阶段
图19是表示学习装置700的功能的构成例的框图。图20是表示学习用DB(数据库)710的内容例的图。
学习装置700使用保存于学习用DB710的学习用数据集，生成用于推断图像中的瓶的位置、颜色、以及尺寸的学习完毕模型。
学习装置700是包括CPU、RAM、ROM、非易失性存储器、以及输入输出接口等的计算机。学习装置700的CPU按照从ROM或者非易失性存储器加载到RAM的程序来执行信息处理。
学习装置700具备取得部701以及学习部702。这些功能部通过学习装置700的CPU按照程序执行信息处理来实现。
取得部701从学习用DB710取得学习用数据集。
学习部702使用由取得部701取得的学习用数据集，通过机器学习生成用于推断图像中的瓶的位置、颜色、以及尺寸的学习完毕模型。
如图20所示，学习用DB710存储学习用图像、类别、以及位置彼此建立关联而成的学习用数据集。学习用图像被用作输入数据。类别以及位置被用作教导数据。
学习用图像是包含作为对象物的瓶的像的图像。学习用图像例如是由拍摄带式输送机200上的瓶W的拍摄装置500(参照图1)生成的图像。不限定于此，学习用图像也可以是在其他场所拍摄瓶而得到的图像。
类别以及位置是学习用图像所包含的瓶的类别以及位置。瓶的类别以及位置例如由人判断并输入。
瓶的类别例如分为“透明瓶-大”、“透明瓶-小”、“带色瓶-大”、以及“带色瓶-小”等。是透明瓶还是带色瓶表示瓶的颜色。是大是小表示瓶的尺寸。瓶的颜色以及尺寸是瓶的属性的一个例子。
瓶的位置是学习用图像中的瓶的位置，例如由包括瓶的边界框的坐标表示。边界框的坐标包括左上端的xy坐标、宽度、以及高度。不限于此，瓶的位置例如也可以由中心位置等代表点的坐标来表示。代表点是学习用图像中的瓶的像中的1点。
图21是表示在学习装置700中实现的学习完毕模型的生成处理的步骤例的图。学习完毕模型的生成处理通过用户的操作而开始。图22是用于对学习完毕模型的生成处理进行说明的图。在该图中，对与图21的各处理对应的部位标注处理的步骤编号。
在本例中，例如使用SSD(Single Shot MultiBox Detector)等物体检测模型MDL。在物体检测模型MDL的输出层设置有类别名(Class name)、边界框的坐标(Bounding Box(x,y,w,h))、以及置信度(Confidence)的要素。并不限定于SSD，也可以使用MaskR-CNN或者YOLO(You Only Look Once)等。
并不限定于物体检测模型MDL，也可以使用进行图像的区域分割的SemanticSegmentation(语义分割)或者Instance Segmentation(实例分割)等区域分割模型，还可以使用检测图像中的特征点的Keypoint Detection(关键点检测)等特征点检测模型。
如图21所示，在步骤S21中，取得部701从学习用DB710取得包括学习用图像、类别、以及位置在内的学习用数据集。
在步骤S22中，学习部702将学习用图像LP作为输入数据IPD输入到物体检测模型MDL。在步骤S23中，学习部702进行基于物体检测模型MDL的计算。在步骤S24中，学习部702从物体检测模型MDL输出类别、位置、以及置信度作为输出数据OPD。类别表示瓶的颜色以及尺寸。
在步骤S25中，学习部702计算作为输出数据OPD的类别以及位置、和作为教导数据TRD的类别以及位置的误差。在步骤S26中，学习部702进行误差逆传播计算以减少误差。
反复进行以上的过程，由此生成用于推断图像中的瓶的位置、颜色、以及尺寸的学习完毕模型(即，学习完毕的物体检测模型)。所生成的学习完毕模型在以下进行说明的运用阶段中被加以使用。
(2)运用阶段
图23是表示在机器人系统1中实现的使用学习完毕模型的识别处理的步骤例的图。识别处理在拍摄装置500拍摄带式输送机200上的瓶W时开始。图24是用于对使用学习完毕模型的识别处理进行说明的图。此外，在以下的说明中，也描述与上述图6所示的信息处理装置300的各功能部的关系。
在步骤S31中，信息处理装置300取得由拍摄装置500生成的照相机图像CP(作为拍摄控制部3001的处理)。
在步骤S32中，信息处理装置300使用在上述的学习阶段中生成的学习完毕模型LMDL，推断照相机图像CP中的瓶的位置、颜色、以及尺寸(作为图像处理部3002的处理)。
具体而言，如图24所示，信息处理装置300将照相机图像CP作为输入数据IPD输入至学习完毕模型LMDL，进行基于学习完毕模型LMDL的计算，将类别、位置、以及置信度作为输出数据OPD而输出。类别表示瓶的颜色以及尺寸。位置表示包含瓶的边界框的坐标。另外，信息处理装置300也可以基于边界框的坐标，计算边界框的中心位置等代表点的坐标，将其作为瓶的位置。
不限定于此，也可以使用检测图像中的特征点的Keypoint Detection等区域分割模型，直接推断照相机图像CP中的瓶的代表点的坐标。另外，也可以使用进行图像的区域分割的Semantic Segmentation等区域分割模型，推断照相机图像中的瓶的区域，计算区域的中心位置等代表点的坐标，将其作为瓶的位置。
在步骤S33中，信息处理装置300基于推断出的瓶的位置、颜色、以及尺寸，生成瓶指标(作为指标处理部3003、3004的处理)。
具体而言，信息处理装置300在推断出的瓶的颜色是透明瓶的情况下，生成透明瓶的瓶指标(作为第1指标处理部3003的处理)。另外，信息处理装置300在推断出的瓶的颜色是带色瓶的情况下，生成带色瓶的瓶指标(作为第2指标处理部3004的处理)。瓶指标包括基于推断出的瓶的位置的位置指标、和基于推断出的瓶的尺寸的尺寸指标。
在步骤S34中，信息处理装置300在输入输出装置400A、400B的触摸屏410显示照相机图像和瓶指标(作为图像合成部3005、3006的处理)。
具体而言，信息处理装置300将照相机图像和透明瓶的瓶指标的图像合成，并输出至输入输出装置400A(作为第1图像合成部3005的处理)。另外，信息处理装置300将照相机图像和带色瓶的瓶指标的图像合成，并输出至输入输出装置400B(作为第2图像合成部3006的处理)。合成后的图像例如与上述图8以及图9所示的重叠图像相同。此外，也可以并列显示照相机图像和瓶指标的图像。
在步骤S35中，信息处理装置300在没有对所显示的瓶指标的修正的指示的情况下(S35：否)，移至步骤S36。在步骤S36中，信息处理装置300保存在步骤S31中取得的照相机图像、和在步骤S32中推断出的瓶的位置、颜色以及尺寸。
在步骤S37中，信息处理装置300向机器人控制装置600输出与瓶指标对应的瓶信息(作为指标处理部3003、3004的处理)。瓶信息包含瓶的位置、颜色、以及尺寸等信息。
另一方面，在步骤S35中，信息处理装置300在有对显示中的瓶指标的修正的指示的情况下(S35：是)，移至步骤S38。在步骤S38中，信息处理装置300基于修正的指示，修正瓶的位置、颜色、以及尺寸中的至少一个(作为输入解析部3007、3008的处理)。
具体而言，信息处理装置300通过对被输入至输入输出装置400A、400B的触摸屏410的输入信息进行解析，从而检测对显示中的瓶指标的修正的指示。对瓶指标的修正例如与上述图10～图16所示的瓶指标的修正等相同。这里，对瓶指标的修正也包括瓶指标的删除以及追加。
在步骤S39中，信息处理装置300保存修正内容(作为保存处理部的处理)。具体而言，信息处理装置300将修正后的瓶的位置、颜色、以及尺寸中的至少一个与照相机图像建立关联，保存到在存储部3012中构建的修正保存DB(数据库)3013。
图25是表示修正保存DB3013的内容例的图。在修正保存DB3013中，将瓶的位置、颜色、以及尺寸与照相机图像建立关联，对瓶的位置、颜色、以及尺寸中的至少一个进行了修正。
例如在对瓶的位置进行了修正的情况下，信息处理装置300将修正后的瓶的位置与照相机图像以及未修正的瓶的颜色以及尺寸建立关联来进行保存。
保存于修正保存DB3013的项目与保存于学习用数据库710(参照图20)的项目对应。即，照相机图像对应于学习用图像，瓶的位置对应于位置，瓶的颜色以及尺寸对应于类别。
在步骤S39的执行后，执行上述的步骤S36以及S37。此外，也可以并行地执行步骤S36、步骤S37、步骤S38。
(3)再学习
使用保存于修正保存DB3013的修正内容，通过上述图19所示的学习装置700而进行学习完毕模型的再学习。
学习装置700的取得部701从修正保存DB3013取得照相机图像、瓶的位置、颜色、以及尺寸。学习装置700的学习部702将照相机图像作为输入数据，将瓶的位置、颜色、以及尺寸作为教导数据，进行学习完毕模型的再学习。针对再学习的具体的处理，与上述图21以及图22所示的处理相同，因此省略详细的说明。
在以上说明的变形例中，学习装置700将学习用图像LP作为输入数据IPD，将学习用图像LP中的瓶的位置以及属性作为教导数据TRD，通过机器学习而生成用于推断照相机图像CP中的瓶的位置以及属性的学习完毕模型。由此，能够生成用于实现识别精度的提高的学习完毕模型。
另外，在变形例中，信息处理装置300使用由学习装置700生成的学习完毕模型LMDL，从照相机图像CP检测瓶的位置以及属性。由此，通过使用学习完毕模型，能够实现识别精度的提高。
另外，在变形例中，信息处理装置300将按照在画面上添加的对瓶指标的修正指示实施了修正的瓶的位置、颜色、以及尺寸中的至少一个与照相机图像CP建立关联而进行保存。由此，能够将由用户判断、输入的修正内容用于再学习。
另外，在变形例中，学习装置700将由信息处理装置300保存的照相机图像CP作为输入数据，将修正后的瓶的位置、颜色、以及尺寸中的至少一个作为教导数据，进行学习完毕模型LMDL的再学习。由此，使用由用户判断、输入的修正内容进行再学习，因此能够实现学习完毕模型的识别精度的进一步提高。
在以上说明的变形例中，作为通过图像处理检测出的瓶的属性的例子举出了瓶的颜色以及尺寸，但瓶的属性并不限定于此。作为瓶的属性，例如包括瓶的尺寸、姿势、颜色、或者状态等。
例如，也可以如上述实施方式那样将瓶的姿势用作瓶的属性。另外，也可以将瓶破裂或者贴有标签等瓶的状态用作瓶的属性。
此外，在上述图6所示的信息处理装置300中，输入解析部3007、3008是检测指示属性的属性检测部的例子，转换部3009、3010是检测实物的属性的属性信息检测部的例子。
在以上说明的变形例中，对使用由拍摄对象物的拍摄装置500生成的照相机图像CP的方式进行了说明。这里，拍摄装置500是传感检测部的一个例子，照相机图像CP是由传感检测部生成的检测图像的一个例子。
也可以代替拍摄装置500地，将生成表示对象物的三维位置的检测图像的立体照相机、TOF(Time-of-Flight)照相机作为传感检测部来使用。在该情况下，不仅是照相机图像CP，学习用图像LP也使用同样生成的表示三维位置的检测图像。
另外，也可以代替拍摄装置500地，将射出照射光并利用射出的照射光的反射光而生成表示对象物的距离的检测图像的LiDAR(Light Detection And Ranging：激光雷达)作为传感检测部来使用。在该情况下，不仅是照相机图像CP，学习用图像LP也使用同样生成的表示对象物的距离的检测图像。
附图标记的说明
1...机器人系统；10...设定装置；20...图像识别系统；100、100A、100B...机器人；300...信息处理装置；400、400A、400B...输入输出装置；410...触摸屏；500...拍摄装置；600...机器人控制装置；3002...图像处理部(第1图像处理部、第2图像处理部、第3图像处理部)；3003、3004...指标处理部；3005、3006...图像合成部；3007、3008...输入解析部(位置检测部、尺寸检测部、姿势检测部)；3009、3010...转换部(位置信息检测部、尺寸信息检测部、姿势信息检测部、输出部)；W...瓶(对象物)。

Claims (31)

1.一种信息处理装置，其特征在于，包括：
位置检测部，检测指示位置，该指示位置是在呈现对象物的画面上指示的所述对象物的位置；
属性检测部，检测指示属性，该指示属性是在所述画面上指示的所述对象物的属性；
位置信息检测部，基于所述指示位置而检测所述对象物的实物的位置；
属性信息检测部，基于所述指示属性而检测所述对象物的实物的属性；
指标处理部，生成表示所述指示位置的位置指标与表示所述对象物的实物的属性的属性指标，并将它们显示在所述画面上；以及
输出部，输出包含所述对象物的实物的位置以及属性的信息在内的对象物信息，
所述位置检测部和所述属性检测部中的至少一个进行第一处理，
在所述第一处理中，所述位置检测部检测在所述画面上添加的对所述位置指标的修正或者删除的指示，并按照所述指示对所述指示位置进行修正或者删除，
所述位置信息检测部基于在所述第一处理中被进行了修正或者删除的所述指示位置，对所述对象物的实物的位置的信息进行修正或者删除，
所述指标处理部基于在所述第一处理中被进行了修正或者删除的所述指示位置，对所述位置指标进行修正或者删除，
所述输出部输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的位置的信息在内的所述对象物信息，
在所述第一处理中，所述属性检测部检测在所述画面上添加的对所述属性指标的修正或者删除的指示，并按照所述指示对所述指示属性进行修正或者删除，
所述属性信息检测部基于在所述第一处理中被进行了修正或者删除的所述指示属性，对所述对象物的实物的属性的信息进行修正或者删除，
所述指标处理部基于在所述第一处理中被进行了修正或者删除的所述指示属性，对所述属性指标进行修正或者删除，
所述输出部输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的属性的信息在内的所述对象物信息。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述属性检测部是对指示尺寸进行检测的尺寸检测部，该指示尺寸是在所述画面上指示的所述对象物的尺寸，
所述属性信息检测部是基于所述指示尺寸对所述对象物的实物的尺寸进行检测的尺寸信息检测部，
所述指标处理部生成表示所述指示位置的位置指标与表示所述对象物的实物的尺寸的尺寸指标，并将它们显示在所述画面上，
所述输出部输出包含所述对象物的实物的位置以及尺寸的信息在内的对象物信息。
3.根据权利要求2所述的信息处理装置，其特征在于，
还包括第1图像处理部，该第1图像处理部通过对呈现所述对象物的图像进行处理而从所述图像提取所述对象物，并检测所提取的所述对象物的实物的位置以及尺寸，
所述指标处理部生成并显示与由所述第1图像处理部检测到的所述对象物的实物的位置以及尺寸对应的所述位置指标以及所述尺寸指标。
4.根据权利要求2所述的信息处理装置，其特征在于，
在所述第一处理中，所述尺寸检测部检测在所述画面上添加的对所述尺寸指标的修正或者删除的指示，并按照所述指示对所述指示尺寸进行修正或者删除，
所述尺寸信息检测部基于在所述第一处理中被进行了修正或者删除的所述指示尺寸，对所述对象物的实物的尺寸的信息进行修正或者删除，
所述指标处理部基于在所述第一处理中被进行了修正或者删除的所述对象物的实物的尺寸，对所述尺寸指标进行修正或者删除，
所述输出部输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的尺寸的信息在内的所述对象物信息。
5.根据权利要求2所述的信息处理装置，其特征在于，
所述尺寸检测部检测与在所述画面上完成的指示所形成的轨迹对应的尺寸作为所述指示尺寸。
6.根据权利要求1所述的信息处理装置，其特征在于，
所述属性检测部是检测指示姿势的姿势检测部，该指示姿势是在所述画面上指示的所述对象物的姿势，
所述属性信息检测部是基于所述指示姿势对所述对象物的实物的姿势进行检测的姿势信息检测部，
所述指标处理部生成表示所述指示位置的位置指标与表示所述指示姿势的姿势指标，并将它们显示在所述画面上，
所述输出部输出包含所述对象物的实物的位置以及姿势的信息在内的对象物信息。
7.根据权利要求6所述的信息处理装置，其特征在于，
还包括第1图像处理部，该第1图像处理部通过对呈现所述对象物的图像进行处理，由此从所述图像提取所述对象物且对所提取的所述对象物的实物的位置以及姿势进行检测，
所述指标处理部生成并显示与由所述第1图像处理部检测到的所述对象物的实物的位置以及姿势对应的所述位置指标以及所述姿势指标。
8.根据权利要求6所述的信息处理装置，其特征在于，
在所述第一处理中，所述姿势检测部检测在所述画面上添加的对所述姿势指标的修正或者删除的指示，并按照所述指示对所述指示姿势进行修正或者删除，
所述姿势信息检测部基于在所述第一处理中被进行了修正或者删除的所述指示姿势，对所述对象物的实物的姿势的信息进行修正或者删除，
所述指标处理部基于在所述第一处理中被进行了修正或者删除的所述指示姿势，对所述姿势指标进行修正或者删除，
所述输出部输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的姿势的信息在内的所述对象物信息。
9.根据权利要求6所述的信息处理装置，其特征在于，
所述姿势检测部检测与在所述画面上完成的指示所形成的轨迹对应的方向作为所述指示姿势。
10.根据权利要求6所述的信息处理装置，其特征在于，还包括：
尺寸检测部，检测指示尺寸，该指示尺寸是在所述画面上指示的所述对象物的尺寸；和
尺寸信息检测部，基于所述指示尺寸对所述对象物的实物的尺寸进行检测，
所述指标处理部还生成表示所述对象物的实物的尺寸的尺寸指标，并将其显示在所述画面上，
所述输出部输出还包含所述对象物的实物的尺寸的信息在内的所述对象物信息。
11.根据权利要求10所述的信息处理装置，其特征在于，
还包括第2图像处理部，该第2图像处理部通过对呈现所述对象物的图像进行处理，由此从所述图像提取所述对象物且对所提取的所述对象物的实物的尺寸进行检测，
所述指标处理部生成并显示与由所述第2图像处理部检测到的所述对象物的实物的尺寸对应的所述尺寸指标。
12.根据权利要求10所述的信息处理装置，其特征在于，
所述尺寸检测部检测在所述画面上添加的对所述尺寸指标的修正或者删除的指示，并按照所述指示对所述指示尺寸进行修正或者删除，
所述尺寸信息检测部基于被进行了修正或者删除的所述指示尺寸，对所述对象物的实物的尺寸的信息进行修正或者删除，
所述指标处理部基于被进行了修正或者删除的所述对象物的实物的尺寸，对所述尺寸指标进行修正或者删除，
所述输出部输出包含被进行了修正或者删除的所述对象物的实物的尺寸的信息在内的所述对象物信息。
13.根据权利要求10所述的信息处理装置，其特征在于，
所述尺寸检测部检测与在所述画面上完成的指示所形成的轨迹对应的尺寸作为所述指示尺寸。
14.根据权利要求1所述的信息处理装置，其特征在于，
所述输出部将所述对象物信息输出至控制装置，该控制装置控制对所述对象物的实物进行处理作业的机器人。
15.根据权利要求1所述的信息处理装置，其特征在于，
还包括图像处理部，该图像处理部通过对呈现所述对象物的图像进行处理，从而根据所述图像检测所述对象物的实物的位置以及属性，
所述指标处理部生成并显示与由所述图像处理部检测到的所述对象物的实物的位置以及属性对应的所述位置指标以及所述属性指标。
16.根据权利要求15所述的信息处理装置，其特征在于，
所述图像处理部使用将学习用图像作为输入数据、将所述学习用图像所包含的对象物的位置以及属性作为教导数据、通过机器学习而预先生成的学习完毕模型，根据所述图像检测所述对象物的实物的位置以及属性。
17.根据权利要求15所述的信息处理装置，其特征在于，
还具备保存处理部，该保存处理部将通过所述位置检测部被进行了修正的所述指示位置与所述图像建立关联来进行保存。
18.根据权利要求15所述的信息处理装置，其特征在于，
具备保存处理部，该保存处理部将通过所述属性检测部被进行了修正的所述指示属性与所述图像建立关联来进行保存。
19.根据权利要求15所述的信息处理装置，其特征在于，
所述图像是由对所述对象物进行传感检测的传感检测部生成的检测图像。
20.根据权利要求1～19中任一项所述的信息处理装置，其特征在于，
所述对象物的属性是所述对象物的尺寸、姿势、颜色、或者状态。
21.一种学习装置，其特征在于，具备：
取得部，取得学习用图像、所述学习用图像所包含的对象物的位置以及属性；和
学习部，将所述学习用图像作为输入数据，将所述对象物的位置以及属性作为教导数据，通过机器学习而生成用于根据图像推断对象物的位置以及属性的学习完毕模型，
所述取得部取得在权利要求17或18所述的信息处理装置中保存的图像、以及被进行了修正的对象物的指示位置及指示属性中的至少一个，
所述学习部将所述图像作为输入数据，将被进行了修正的所述对象物的指示位置以及指示属性中的至少一个作为教导数据，进行所述学习完毕模型的再学习。
22.一种学习完毕模型的生成方法，其特征在于，
取得学习用图像、所述学习用图像所包含的对象物的位置以及属性，
将所述学习用图像作为输入数据，将所述对象物的位置以及属性作为教导数据，通过机器学习而生成用于根据图像推断对象物的位置以及属性的学习完毕模型，
取得在权利要求17或18所述的信息处理装置中保存的图像、以及被进行了修正的对象物的指示位置及指示属性中的至少一个，
将所述图像作为输入数据，将被进行了修正的所述对象物的指示位置以及指示属性中的至少一个作为教导数据，进行所述学习完毕模型的再学习。
23.一种设定装置，其特征在于，具备：
权利要求1～20中任一项所述的信息处理装置；
显示器，显示所述画面；以及
输入装置，接受所述指示的输入并向所述信息处理装置输出。
24.根据权利要求23所述的设定装置，其特征在于，
具备包含所述显示器的功能和所述输入装置的功能的触摸屏。
25.一种图像识别系统，其特征在于，具备：
权利要求23或24所述的设定装置；和
拍摄装置，对所述对象物的实物进行拍摄，将拍摄到的图像向所述设定装置输出。
26.根据权利要求25所述的图像识别系统，其特征在于，
所述信息处理装置还具备第3图像处理部，该第3图像处理部通过对拍摄所述对象物的实物而得到的图像进行处理，由此从所述图像中提取所述对象物且对所提取的所述对象物的实物的位置、尺寸以及姿势进行检测，
所述指标处理部生成与由所述第3图像处理部检测到的所述对象物的实物的位置、尺寸以及姿势对应的所述位置指标、尺寸指标以及姿势指标，并将它们显示在所述显示器的画面上。
27.一种机器人系统，其特征在于，具备：
权利要求25或26所述的图像识别系统；
机器人，对所述对象物的实物进行处理作业；以及
控制装置，控制所述机器人，
所述控制装置使用从所述信息处理装置的所述输出部输出的所述对象物信息，识别所述对象物的实物，使所述机器人对所述对象物的实物进行处理。
28.一种设定方法，是用于对在画面上呈现的对象物的实物进行识别的所述对象物的位置以及尺寸的设定方法，其特征在于，
所述设定方法包括如下步骤：
检测在所述画面上指示的所述对象物的位置亦即指示位置，
检测在所述画面上指示的所述对象物的尺寸亦即指示尺寸，
基于所述指示位置而检测所述对象物的实物的位置，
基于所述指示尺寸而检测所述对象物的实物的尺寸，
生成表示所述指示位置的位置指标与表示所述对象物的实物的尺寸的尺寸指标，并将它们显示在所述画面上，
输出包含所述对象物的实物的位置以及尺寸的信息在内的对象物信息，
执行第一处理，该第一处理包括检测在所述画面上添加的对所述位置指标的修正或者删除的指示并按照所述指示对所述指示位置进行修正或者删除的处理、和检测在所述画面上添加的对所述尺寸指标的修正或者删除的指示并按照所述指示对所述指示尺寸进行修正或者删除的处理中的至少一个，
基于在所述第一处理中被进行了修正或者删除的所述指示位置，对所述对象物的实物的位置的信息进行修正或者删除，
基于在所述第一处理中被进行了修正或者删除的所述指示位置，对所述位置指标进行修正或者删除，
输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的位置的信息在内的所述对象物信息，
基于在所述第一处理中被进行了修正或者删除的所述指示尺寸，对所述对象物的实物的尺寸的信息进行修正或者删除，
基于在所述第一处理中被进行了修正或者删除的所述对象物的实物的尺寸，对所述尺寸指标进行修正或者删除，
输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的尺寸的信息在内的所述对象物信息。
29.一种设定方法，是用于对在画面上呈现的对象物的实物进行识别的所述对象物的位置以及姿势的设定方法，其特征在于，
所述设定方法包括如下步骤：
检测在所述画面上指示的所述对象物的位置亦即指示位置，
检测在所述画面上指示的所述对象物的姿势亦即指示姿势，
基于所述指示位置而检测所述对象物的实物的位置，
基于所述指示姿势而检测所述对象物的实物的姿势，
生成表示所述指示位置的位置指标与表示所述指示姿势的姿势指标，并将它们显示在所述画面上，
输出包含所述对象物的实物的位置以及姿势的信息在内的对象物信息，
执行第一处理，该第一处理包括检测在所述画面上添加的对所述位置指标的修正或者删除的指示并按照所述指示对所述指示位置进行修正或者删除的处理、和检测在所述画面上添加的对所述姿势指标的修正或者删除的指示并按照所述指示对所述指示姿势进行修正或者删除的处理中的至少一个，
基于在所述第一处理中被进行了修正或者删除的所述指示位置，对所述对象物的实物的位置的信息进行修正或者删除，
基于在所述第一处理中被进行了修正或者删除的所述指示位置，对所述位置指标进行修正或者删除，
输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的位置的信息在内的所述对象物信息，
基于在所述第一处理中被进行了修正或者删除的所述指示姿势，对所述对象物的实物的姿势的信息进行修正或者删除，
基于在所述第一处理中被进行了修正或者删除的所述指示姿势，对所述姿势指标进行修正或者删除，
输出包含基于所述第一处理被进行了修正或者删除的所述对象物的实物的姿势的信息在内的所述对象物信息。
30.根据权利要求29所述的设定方法，其特征在于，
所述设定方法还包括：
检测在所述画面上指示的所述对象物的尺寸亦即指示尺寸，
基于所述指示尺寸而检测所述对象物的实物的尺寸，
还生成表示所述对象物的实物的尺寸的尺寸指标，并将其显示在所述画面上，
输出还包含所述对象物的实物的尺寸的信息在内的所述对象物信息。
31.一种信息处理装置，其特征在于，包括：
位置检测部，检测指示位置，该指示位置是在呈现对象物的画面上指示的所述对象物的位置；
属性检测部，检测指示属性，该指示属性是在所述画面上指示的所述对象物的属性；
位置信息检测部，基于所述指示位置而检测所述对象物的实物的位置；
属性信息检测部，基于所述指示属性而检测所述对象物的实物的属性；
指标处理部，生成表示所述指示位置的位置指标与表示所述对象物的实物的属性的属性指标，并将它们显示在所述画面上；
输出部，输出包含所述对象物的实物的位置以及属性的信息在内的对象物信息；
图像处理部，该图像处理部通过对呈现所述对象物的图像进行处理，从而根据所述图像检测所述对象物的实物的位置以及属性；以及
保存处理部，
所述指标处理部生成并显示与由所述图像处理部检测到的所述对象物的实物的位置以及属性对应的所述位置指标以及所述属性指标，
所述位置检测部以及所述属性检测部的至少一个进行第二处理，
在第二处理中，所述位置检测部检测在所述画面上添加的对所述位置指标的修正的指示，并按照所述指示对所述指示位置进行修正，
所述保存处理部将在所述第二处理中被进行了修正的所述指示位置与所述图像建立关联来进行保存，
在第二处理中，所述属性检测部检测在所述画面上添加的对所述属性指标的修正的指示，并按照所述指示对所述指示属性进行修正，
所述保存处理部将在所述第二处理中被进行了修正的所述指示属性与所述图像建立关联来进行保存。
CN202080060150.5A 2019-08-26 2020-08-26 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法 Active CN114286739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019154103 2019-08-26
JP2019-154103 2019-08-26
PCT/JP2020/032207 WO2021039850A1 (ja) 2019-08-26 2020-08-26 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法

Publications (2)

Publication Number Publication Date
CN114286739A CN114286739A (zh) 2022-04-05
CN114286739B true CN114286739B (zh) 2024-04-12

Family

ID=74684794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060150.5A Active CN114286739B (zh) 2019-08-26 2020-08-26 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法

Country Status (5)

Country Link
US (1) US20220292708A1 (zh)
EP (1) EP4023398A4 (zh)
JP (1) JP7261306B2 (zh)
CN (1) CN114286739B (zh)
WO (1) WO2021039850A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922368B1 (en) * 2020-12-11 2024-03-05 Amazon Technologies, Inc. Object classification exception handling via machine learning
WO2023022237A1 (ja) * 2021-08-19 2023-02-23 京セラ株式会社 ロボットの保持態様決定装置、保持態様決定方法、及びロボット制御システム
WO2023067656A1 (ja) * 2021-10-18 2023-04-27 株式会社Pfu 物体処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101314225A (zh) * 2007-05-31 2008-12-03 发那科株式会社 机器人模拟装置
JP2013173209A (ja) * 2012-02-27 2013-09-05 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
CN109426835A (zh) * 2017-08-31 2019-03-05 佳能株式会社 信息处理装置、信息处理装置的控制方法和存储介质
JP2019133450A (ja) * 2018-01-31 2019-08-08 パナソニックＩｐマネジメント株式会社 移動ロボット及び移動ロボットの制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009241247A (ja) 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置
EP2196881A1 (de) * 2008-12-04 2010-06-16 Siemens Aktiengesellschaft Bedieneinrichtung zur Bedienung einer Maschine aus der Automatisierungstechnik
JP6542824B2 (ja) * 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
JP6549655B2 (ja) * 2017-08-03 2019-07-24 ファナック株式会社 物品搬送装置
JP6687591B2 (ja) * 2017-12-26 2020-04-22 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101314225A (zh) * 2007-05-31 2008-12-03 发那科株式会社 机器人模拟装置
JP2013173209A (ja) * 2012-02-27 2013-09-05 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
CN109426835A (zh) * 2017-08-31 2019-03-05 佳能株式会社 信息处理装置、信息处理装置的控制方法和存储介质
JP2019133450A (ja) * 2018-01-31 2019-08-08 パナソニックＩｐマネジメント株式会社 移動ロボット及び移動ロボットの制御方法

Also Published As

Publication number Publication date
JP7261306B2 (ja) 2023-04-19
US20220292708A1 (en) 2022-09-15
EP4023398A4 (en) 2023-09-13
JPWO2021039850A1 (zh) 2021-03-04
CN114286739A (zh) 2022-04-05
EP4023398A1 (en) 2022-07-06
WO2021039850A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
CN114286739B (zh) 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
US10569416B1 (en) Robotic system with enhanced scanning mechanism
Nieuwenhuisen et al. Mobile bin picking with an anthropomorphic service robot
JP2021503374A (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
Nerakae et al. Using machine vision for flexible automatic assembly system
CN114820772B (zh) 基于图像数据的物体检测的系统及方法
US11232589B2 (en) Object recognition device and object recognition method
CN110926330B (zh) 图像处理装置和图像处理方法
Agrawal et al. Vision-guided robot system for picking objects by casting shadows
US20230039581A1 (en) Systems and methods for object detection
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
Pan et al. Manipulator package sorting and placing system based on computer vision
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
Fan et al. An automatic robot unstacking system based on binocular stereo vision
Fontana et al. A comparative assessment of parcel box detection algorithms for industrial applications
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
CN111470244B (zh) 机器人系统的控制方法以及控制装置
Sansoni et al. Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance
Walter et al. Appearance-based object reacquisition for mobile manipulation
Hayat et al. Vision System and Calibration
Zheng et al. Research on Robot Object Localization and Grabbing Based on Concontour Matching
Liu et al. Research on Accurate Grasping Method of Steel Shaft Parts Based on Depth Camera
JP2023131162A (ja) 物体取り扱いを伴うロボットシステムのためのシステム及び方法
Zhang PROJECT WORK

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant