CN106945035A - 机器人控制设备及其控制方法和机器人系统 - Google Patents

机器人控制设备及其控制方法和机器人系统 Download PDF

Info

Publication number
CN106945035A
CN106945035A CN201610963497.6A CN201610963497A CN106945035A CN 106945035 A CN106945035 A CN 106945035A CN 201610963497 A CN201610963497 A CN 201610963497A CN 106945035 A CN106945035 A CN 106945035A
Authority
CN
China
Prior art keywords
posture
holding
target object
information
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610963497.6A
Other languages
English (en)
Other versions
CN106945035B (zh
Inventor
园田哲理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106945035A publication Critical patent/CN106945035A/zh
Application granted granted Critical
Publication of CN106945035B publication Critical patent/CN106945035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39102—Manipulator cooperating with conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40555—Orientation and distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种机器人控制设备及其控制方法和机器人系统。该机器人控制设备用于控制机器人的操作，所述机器人用于把持对象物体，所述机器人控制设备包括：获取单元，用于获得与所述对象物体的位置和姿势有关的信息；选择单元，用于基于所述对象物体的拍摄图像来选择多个把持模式其中之一；以及生成单元，用于基于所获得的位置和姿势以及所选择的把持模式来生成把持操作数据，其中，所述把持操作数据用于限定所述机器人的把持操作。

Description

机器人控制设备及其控制方法和机器人系统
技术领域
本发明的各方面通常涉及用于把持对象物体的机器人的控制设备和控制方法。
背景技术
为了使用于把持所供给的对象物体并将该对象物体配置在预定场所的机器人设备适应该对象物体的不断变化的供给状态，近来已研发了用于在把持对象物体之前通过使用各种传感器来识别并测量对象物体的类型、位置和姿势的技术。日本专利3314890论述了如下的机器人设备，其中该机器人设备获得带式输送机所输送的对象物体的视频图像，并且在利用把持单元把持该对象物体之前，基于该视频图像来使机器人的支撑构件转动。日本专利3805310论述了包括姿势可以根据对象物体放置的状况而改变的工件把持单元的设备。
日本专利3314890和日本专利3805310中所论述的设备是基于可以从对象物体的拍摄图像中适当地识别出该对象物体的位置和姿势这一前提。因此，如果对象物体的识别由于诸如照明不足或昏暗或者对象物体存在污迹等的恶劣条件而未完成或无法进行，则可能无法把持对象物体。如果不能把持对象物体(即，把持的成功率下降)，则机器人的作业效率下降。
发明内容
根据本发明的一个方面，一种机器人控制设备，用于控制机器人的操作，所述机器人用于把持对象物体，所述机器人控制设备包括：获取单元，用于获得与所述对象物体的位置和姿势有关的信息；选择单元，用于基于所述对象物体的拍摄图像来选择多个把持模式其中之一；以及生成单元，用于基于所获得的位置和姿势以及所选择的把持模式来生成把持操作数据，其中，所述把持操作数据用于限定所述机器人的把持操作。
根据本发明的另一方面，一种机器人系统，包括：机器人控制设备，用于控制机器人的操作，所述机器人用于把持对象物体；以及机器人，用于把持所述对象物体，其中，所述机器人控制设备包括：获取单元，用于获得与所述对象物体的位置和姿势有关的信息；选择单元，用于基于所述对象物体的拍摄图像来选择多个把持模式其中之一；以及生成单元，用于基于所获得的位置和姿势以及所选择的把持模式来生成把持操作数据，其中，所述把持操作数据用于限定所述机器人的把持操作。
根据本发明的又一方面，一种机器人控制设备的控制方法，所述机器人控制设备用于控制机器人的操作，所述机器人用于把持对象物体，所述控制方法包括以下步骤：获得与所述对象物体的位置和姿势有关的信息；基于所述对象物体的拍摄图像来选择多个把持模式其中之一；以及基于所获得的位置和姿势以及所选择的把持模式来生成把持操作数据，其中，所述把持操作数据用于限定所述机器人的把持操作。
根据本申请的说明书，即使不能识别出对象物体的正确位置和姿势，机器人也可以适当地把持对象物体。
通过以下参考附图对典型实施例的说明，其它特征将变得明显。
附图说明
图1A是示出包括根据第一典型实施例的机器人控制设备的机器人系统的示意平面图，并且图1B是对象物体的立体图。
图2是说明根据第一典型实施例的机器人控制设备的操作的流程图。
图3是说明根据第一典型实施例的物体信息获取步骤的详情的流程图。
图4A、4B和4C是示出根据第一典型实施例的背景图像、拍摄图像和差异图像的图。
图5是示出差异图像中的对象物体的重心和主轴的图。
图6是示出根据第一典型实施例的归一化图像的图。
图7A、7B和7C是示出根据第一典型实施例的对象物体的三个类型的配置姿势的图。
图8A、8B和8C是示出分别与图7A、7B和7C的三个类型的配置姿势相对应的三个模板的图。
图9是说明根据第二典型实施例的机器人控制设备的操作的流程图。
图10是示出根据第三典型实施例的机器人控制设备的操作的流程图。
图11是机器人系统的框图。
具体实施方式
以下参考附图来详细说明用于实现本发明的各典型实施例。以下的典型实施例仅是实现本发明的一些示例。可以根据这些典型实施例所应用的设备和系统的结构以及各种条件来适当对本发明进行改变和修改。以下的典型实施例不应被视为限制性的。
以下将说明用于通过使用照相机所拍摄到的对象物体的拍摄图像来获得与该对象物体有关的物体信息、并且把持该对象物体的机器人系统。在第一典型实施例中，对象物体是加工之前或之后的零件。在本典型实施例中，物体信息是与对象物体的位置和姿势有关的信息。
机器人系统的结构
图1A是如从上方观看到的根据本典型实施例的机器人系统的图。配置照相机101以拍摄带式输送机102上所放置的对象物体103的图像。
机器人系统包括照相机101、信息获取单元104、把持模式选择单元105、把持操作生成单元106和机器人107。照相机101、信息获取单元104、把持模式选择单元105、把持操作生成单元106和机器人107经由线路110以有线方式连接。根据本典型实施例的机器人107是单臂机器人。带式输送机102沿箭头111的方向输送该带式输送机102上所放置的对象物体103。由于带式输送机102输送对象物体103并由此将对象物体103供给至机器人107，因此带式输送机102可被称为供给单元。带式输送机102可以输送该带式输送机102上所放置的多个对象物体103。在以平面图进行观看的情况下，各对象物体103包括矩形的主体和从主体突出的半圆形的突出部。
图1B是对象物体103的立体图。图1B示出如沿与箭头111相反的方向观看到的图1A的对象物体103。如上所述，在以平面度进行观看的情况下，对象物体103包括矩形的主体103a和从主体103a突出的半圆形的突出部103b。
如图1A所示，照相机101从上方拍摄带式输送机102所供给的对象物体103的图像以获得对象物体103的拍摄图像。照相机101具有预定的摄像范围112并且可以拍摄输送到摄像范围112中的对象物体103的图像。例如，在本典型实施例中，使用对象物体103的拍摄图像来获得零件(物体)的测量值，诸如对象物体的以像素为单位的亮度值等。因而，照相机101用作对象物体103的测量单元。对象物体103的亮度值是与对象物体103的物理属性有关的信息的示例。可以在照相机101的坐标系中表示机器人手109的位置和姿势。将照相机101所获得的拍摄图像发送至信息获取单元104。例如，照相机101可以是包括诸如电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器等的图像传感器(视觉传感器)的数字照相机(包括摄像机)。
控制设备的结构
在图1A和1B所示的典型实施例中，信息获取单元104、把持模式选择单元105和把持操作生成单元106构成了用于控制机器人107的机器人控制设备114。机器人控制设备114通过将把持操作生成单元106所生成的把持操作数据发送至机器人107来控制机器人107的把持操作。
信息获取单元104通过使用照相机101所获得的拍摄图像来获得与对象物体103有关的物体信息。在本典型实施例中，信息获取单元104获得多个类型的物体信息。这多个类型的物体信息包括物体详细信息、物体粗略信息和物体线索信息。信息获取单元104执行用于获得物体详细信息、物体粗略信息和物体线索信息的处理(计算)。物体详细信息、物体粗略信息和物体线索信息是根据对象物体103的识别精度(摄像精度)而逐级地设置的。以下将说明物体详细信息、物体粗略信息和物体线索信息的详情。
把持模式选择单元105基于对象物体103的拍摄图像来选择多个把持模式其中之一。这多个把持模式与对象物体103的把持精度等级相对应。在本典型实施例中，把持模式选择单元105选择四个把持模式其中之一。这四个把持模式包括详细定位把持模式、粗略定位把持模式、位置范围指定把持模式和随机把持模式。在从对象物体103的拍摄图像中成功地获得(识别出)与对象物体103有关的详细信息的情况下，选择详细定位把持模式。在从拍摄图像中成功地获得与对象物体103有关的粗略信息的情况下，选择粗略定位把持模式。在从拍摄图像中成功地获得用作对象物体103的线索的信息的情况下，选择位置范围指定把持模式。在与对象物体103有关的详细信息、粗略信息和线索信息均未被成功地获得的情况下，选择随机把持模式。以下将说明这些把持模式的详情。这四个把持模式被设置成与对象物体103的四个等级的把持精度相对应。
把持操作生成单元106基于把持模式选择单元105所选择的把持模式来生成用于把持对象物体103的机器人107的把持操作数据。该把持操作数据是用于限定机器人107的把持操作的数据。
机器人107包括机器人臂108、机器人手109和基部单元113。例如，机器人臂108是关节臂。机器人手109安装至机器人臂108的端部。机器人手109是用于把持对象物体103的把持单元(执行器)。图1A的机器人手109是标准的两指机器人手。机器人107还包括用于驱动机器人臂108的伺服马达(未示出)和用于检测该伺服马达的角度位置的编码器(未示出)。机器人107根据把持操作生成单元106所生成的把持操作数据(命令)进行工作，以把持对象物体103。机器人臂108的基部安装至基部单元113。基部单元113是用于支撑机器人臂108的底座。
处理流程
图2是说明如下操作的流程图：根据本典型实施例的机器人107通过使用照相机101所拍摄到的对象物体103的拍摄图像，来获得与对象零件(对象物体)有关的物体信息并且进行把持。以下将参考图2来说明机器人控制设备114的操作。例如，在接通机器人107的电源的情况下，开始图2的流程图。
在步骤S201中，照相机101从上方拍摄对象物体103的图像以获得拍摄图像。
在步骤S202中，信息获取单元104通过使用步骤S201中所获得的拍摄图像来获得物体信息(物体详细信息、物体粗略信息和物体线索信息)。物体详细信息是表示(标识)对象物体103的正确位置和姿势的信息。换句话说，物体详细信息是可以标识对象物体103的详细位置和姿势所依据的信息。物体粗略信息是表示对象物体103的位置和姿势的可能范围的信息。换句话说，物体粗略信息是表示对象物体103的具有范围的位置和姿势的信息。物体线索信息是表示在预定区域中存在对象物体103的信息。换句话说，物体线索信息是表示对象物体103的存在范围的位置范围信息。在本典型实施例中，信息获取单元104在一个步骤(S202)中获得多个物体信息(物体详细信息、物体粗略信息和物体线索信息)。
在步骤S202中，在获得物体信息时，信息获取单元104扫描对象物体103的拍摄图像，并且获得拍摄图像和背景图像之间的差异以获得差异图像。信息获取单元104在该差异图像中检测(计算)各自的像素亮度值大于0的像素的像素数mD。信息获取单元104还获得对象物体103的归一化图像，并且对该归一化图像进行模板匹配以确定最小匹配误差emin。以下将参考图3来说明步骤S202中的物体信息的获取处理(差异图像的获取、像素数mD的检测和归一化图像的获取)的详情。
在步骤S203中，把持模式选择单元105将步骤S202中所获得的最小匹配误差emin与预先设置的阈值eprecise进行比较。如果最小匹配误差emin小于阈值eprecise(步骤S203中为“是”)，则判断为从拍摄图像中成功地识别出(检测到)与对象物体103有关的详细信息(正确位置和姿势)，并且处理进入步骤S204。如果最小匹配误差emin大于或等于阈值eprecise(步骤S203中为“否”)，则判断为从拍摄图像中不能识别出(检测到)与对象物体103有关的详细信息，并且处理进入步骤S207。步骤S203中的最小匹配误差emin与阈值eprecise的比较是用于判断与对象物体103有关的实际可识别信息是否具有高精度。具有高精度意味着可以详细地标识对象物体103的位置和姿势。
在步骤S204中，把持模式选择单元105选择详细定位把持模式作为把持模式。在详细定位把持模式中，如以下将说明的，基于对象物体103的正确位置和姿势来确定机器人手109的预期位置。在以下说明中，将“位置和姿势”称为“位置姿势”。
在步骤S205中，把持操作生成单元106以详细定位把持模式来计算把持操作O1，并且将把持操作O1输出至机器人107。将利用R0来表示照相机101的坐标系中的机器人手109的初始位置姿势，并且将利用R1来表示其目标位置姿势。通过以下的公式(1)来表示初始位置姿势R0和目标位置姿势R1。可以将把持操作O1称为把持操作数据。
在公式(1)中，Rprecise表示步骤S202中所确定的物体详细信息(对象物体103的正确位置姿势)。Rh表示以对象物体103的坐标系为基准的机器人手109的把持位置姿势。Rh是可以适当地把持对象物体103的位置姿势。该位置姿势是在测量对象物体103的位置姿势的环境下以对象物体103的坐标系为基准而预先设置的。将把持操作O1表示为使初始位置姿势R0和目标位置姿势R1按时间序列方式链接的位置姿势R的集合。使用初始位置姿势R0和目标位置姿势R1，通过以下的公式(2)来给出把持操作O1。
这里，“l”表示初始位置姿势R0和目标位置姿势R1之间的分割数。通过4×4矩阵来表示各位置姿势R。通过使用四元数表达式来进行公式(2)中的实际姿势的插值计算，以维持正交归一性(orthonormality)。
这样，把持操作生成单元106通过使用作为信息获取单元104所获得的物体信息并且与把持模式选择单元105所选择的把持模式相对应的物体详细信息Rprecise，来生成用于限定机器人107的把持操作的把持操作数据。在步骤S206中，机器人107执行把持操作生成单元106所生成的把持操作O1以把持对象物体103。如果机器人107把持对象物体103，则该处理结束。在把持对象物体103之后，机器人107将对象物体103收集至预定位置(区域)。
如果最小匹配误差emin大于或等于阈值eprecise(步骤S203中为“否”)，则在步骤S207中，把持模式选择单元105将步骤S202中所确定的最小匹配误差emin与预先设置的第二阈值erough进行比较。如果最小匹配误差emin小于第二阈值erough(步骤S207中为“是”)，则把持模式选择单元105判断为从拍摄图像中成功地识别出(检测到)与对象物体103有关的粗略信息。然后，处理进入步骤S208。如果最小匹配误差emin大于或等于第二阈值erough(步骤S207中为“否”)，则把持模式选择单元105判断为从拍摄图像中不能识别出或检测到与对象物体103有关的粗略信息(对象物体103的粗略位置姿势)。处理进入步骤S210。
在步骤S208中，把持模式选择单元105选择粗略定位把持模式作为把持模式。在粗略定位把持模式中，如以下将说明的，基于对象物体103的粗略位置姿势来确定机器人手109的预期位置。
在步骤S209中，把持操作生成单元106以粗略定位把持模式来计算把持操作O2，并且将把持操作O2输出至机器人107。将利用R2来表示照相机101的坐标系中的目标位置姿势。通过以下的公式(3)来表示目标位置姿势R2。
Rrough表示步骤S202中所确定的物体粗略信息(对象物体103的具有范围的位置姿势)。α和β分别表示针对以下将说明的位置和姿势的变化的加权因数。xrand、yrand、zrand和λrand表示各自具有0～1的任意值的随机实数。该步骤S209中的公式(3)的Rrough并非是比公式(1)的Rprecise更正确的物体信息。在本典型实施例中，如果使用物体粗略信息Rrough，则由此利用Rv所给出的预定变化来确定目标位置姿势R2，以防止获取到错误的把持位置。生成把持操作O2作为使初始位置姿势R0和目标位置姿势R2按时间序列方式链接的位置姿势R的集合。通过利用R2替换公式(2)中的R1来生成把持操作O2。在步骤S209之后，处理进入步骤S206。在步骤S206中，机器人107执行把持操作生成单元106所生成的把持操作O2以把持对象物体103。
如果最小匹配误差emin大于或等于第二阈值erough(步骤S207中为“否”)，则在步骤S210中，把持模式选择单元105将像素数mD(差异图像D中的各自的亮度值大于0的像素数)和预先设置的像素数阈值mclue进行比较。如果像素数mD大于或等于像素数阈值mclue(步骤S210中为“是”)，则把持模式选择单元105判断为成功地检测到与对象物体103有关的线索信息(对象物体103存在的位置范围)。然后，处理进入步骤S211。如果像素数mD小于像素数阈值mclue(步骤S210中为“否”)，则把持模式选择单元105判断为不能检测到与对象物体103有关的线索信息。然后，处理进入步骤S213。
在步骤S211中，把持模式选择单元105选择位置范围指定把持模式作为把持模式。在位置范围指定把持模式中，如以下将说明的，基于根据物体线索信息所获得的对象物体103存在的位置范围(区域)来确定机器人手109的预期位置。
在步骤S212中，把持操作生成单元106以位置范围指定把持模式来计算把持操作O3，并且将把持操作O3输出至机器人107。将利用R3来表示照相机101的坐标系中的目标位置姿势。通过以下的公式(4)来表示机器人手109的目标位置姿势R3。
以下将参考图3来说明xu、yu、δx和δy。xR3rand和yR3rand表示各自具有-1～1的任意值的随机实数。zfix表示用以把持带式输送机102上的对象物体103的机器人手109的适当高度的预先设置的固定值。在步骤S212中，把持操作生成单元106通过随机地指定根据物体线索信息所获得的对象物体103的位置范围u(xu±δx,yu±δy)内的位置来生成目标位置姿势R3。生成把持操作O3作为使初始位置姿势R0和目标位置姿势R3按时间序列方式链接的位置姿势R的集合。通过利用R3替换公式(2)中的R1来生成把持操作O3。在步骤S212之后，处理进入步骤S206。在步骤S206中，机器人107执行把持操作生成单元106所生成的把持操作O3以把持对象物体103。
如果像素数mD小于像素数阈值mclue(步骤S210中为“否”)，则在步骤S213中，把持模式选择单元105选择随机把持模式作为把持模式。在随机把持模式中，如以下将说明的，在无需使用物体信息的情况下确定机器人107的预期位置(机器人手109的目的地位置)。
在步骤S214中，把持操作生成单元106以随机把持模式来计算把持操作O4，并且将把持操作O4输出至机器人107。将利用R4来表示照相机101的坐标系中的目标位置姿势。通过以下的公式(5)来表示机器人手109的目标位置姿势R4。
xR4rand和yR4rand分别表示各自具有用作供给单元的带式输送机102存在的x方向的范围xconveyor min～xconveyor max和y方向的范围yconveyor min～yconveyor max内的任意值的随机实数。在本步骤(S214)中，把持操作生成单元106不使用对象物体103的位置姿势。把持操作生成单元106通过随机地指定供给单元整体的范围内(图1的带式输送机102的范围内和照相机101的摄像范围112内)的位置来生成目标位置姿势R4。生成把持操作O4作为使初始位置姿势R0和目标位置姿势R4按时间序列方式链接的位置姿势R的集合。通过利用R4替换公式(2)中的R1来生成把持操作O4。在步骤S214之后，处理进入步骤S206。在步骤S206中，机器人107执行把持操作生成单元106所生成的把持操作O4以把持对象物体103。
如上所述，可以进行步骤S201～S214的操作以利用机器人107适当地把持对象物体103。在把持对象物体103之后，机器人107将对象物体103收集至预定位置(区域)。
物体信息获取处理
接着，将参考图3的流程图来说明步骤S202中的物体信息获取处理的详情。将参考图4A～8C来说明图3的流程图。利用信息获取单元104执行图3所示的步骤(S301～S308)。
在步骤S301中，信息获取单元104扫描拍摄图像，并且计算与背景图像的差异以获得差异图像D。
图4A～4C是示出差异图像D的获取的图。如图4A所示，预先生成(准备)在不存在对象物体103的情况下所拍摄到的背景图像B。背景图像B是图1中的带式输送机102的上部的图像。图4B示出当前的拍摄图像C。因此，在图1的状态下所拍摄到的图像是拍摄图像C。对象物体103放置在带式输送机102上。图4C示出差异图像D。如通过公式(6)所示，可以通过获得背景图像B和拍摄图像C之间的差异来确定差异图像D，以仅提取表示对象物体103的像素。
这里，Ib、Ic和Id分别表示构成背景图像B、拍摄图像C和差异图像D的各像素的亮度值。It表示为了获得差异图像D所使用的亮度差的阈值。信息获取单元104扫描拍摄图像整体，由此将公式(6)的计算应用于拍摄图像C的所有像素以获得差异图像D。
图5是示出差异图像D中的对象物体103的重心g和表示对象物体103的长边方向的直线h的图。直线h穿过对象物体103的重心g。可以将直线h称为对象物体103的主轴。
在步骤S302中，信息获取单元104计算定义了拍摄图像中的对象物体103的位置的重心g(xg,yg)和主轴h。图5示出对象物体103在差异图像D中的重心g(xg,yg)和主轴h。通过以下的公式(7)来表示对象物体103的重心g。
xd和yd表示差异图像D中的亮度值大于0的像素d的位置(x坐标位置和y坐标位置)。mD表示这些像素的像素数。通过以下的公式(8)来表示用作主轴的直线h。图5的水平方向是x方向，并且垂直方向是y方向。
在步骤S303中，信息获取单元104对差异图像D的各像素位置、转动和比例进行归一化，以使得能够通过模板匹配来识别对象物体103。信息获取单元104由此获得图6所示的归一化图像N。图6的水平方向是x方向，并且垂直方向是y方向。通过以下的公式(9)来表示构成归一化图像N的各像素n(xn,yn)。
xdmax和xdmin分别表示差异图像D中的各自的亮度值大于0的像素d的所有xd'中的最大值和最小值。信息获取单元104通过将公式(9)应用于各自的亮度值大于0的所有像素d来获得归一化图像N。
在步骤S304中，信息获取单元104对归一化图像N进行模板匹配以识别当前的对象物体103的配置姿势。在本典型实施例中，如图7A、7B和7C所示，对象物体103具有三个类型的配置姿势。预先从上方(沿图7A～7C中的箭头701的方向)观察这三个类型的配置姿势，以通过与步骤S301～S303的过程相同的过程来生成归一化图像N。使用归一化图像N作为各个姿势的模板T1～T3。图8A、8B和8C分别示出与图7A、7B和7C相对应的模板T1、T2和T3。使用模板T1、T2和T3，信息获取单元104通过以下的公式(10)来进行模板匹配。
In表示归一化图像N中的各像素的亮度值。Itk表示模板Tk中的各像素的亮度值。mN表示归一化图像N的总像素数。ek表示相对于模板Tk的匹配误差。信息获取单元104从所确定的匹配误差e1～e3中选择最小匹配误差emin，并且通过使用与该最小匹配误差emin相对应的模板Tk来输出匹配结果。在步骤S305中，信息获取单元104计算相对于与最小匹配误差emin相对应的模板Tk的、拍摄图像中的对象物体103的比例s。通过以下的公式(11)来确定比例s。
sd是通过步骤S303的公式(9)所获得的数值。semin是与在预先计算出与最小匹配误差emin相对应的模板Tk时所获得的sd等同的数值。
在步骤S306中，信息获取单元104计算并输出表示对象物体103的三维位置姿势的Rprecise作为物体详细信息。通过以下的公式(12)来获得Rprecise。
f表示照相机101的焦距。ztk表示在拍摄与最小匹配误差emin相对应的模板Tk时的对象物体103的z方向位置(z坐标位置)。焦距f是通过进行照相机101的校准而预先获得的。ztk是通过在拍摄模板Tk时进行实际测量而预先获得的。在步骤S307中，信息获取单元104计算并输出表示对象物体103的具有范围的三维位置姿势的Rrough作为物体粗略信息。通过以下的公式(13)来获得Rrough。
α表示用于使对象物体103的三维位置的变化与最小匹配误差emin相关联的加权因数。β是用于使z轴转动方向的变化与最小匹配误差emin相关联的加权因数。因数α和β是通过与按各种位置和姿势所配置的对象物体103进行模板匹配、并且确定最小匹配误差emin与位置和姿势的变化之间的数值变化而预先设置的。在步骤S308中，信息获取单元104计算并输出表示对象物体103的存在范围的位置范围u作为物体线索信息。通过以下的公式(14)来获得位置范围u。
ydmax和ydmin分别表示差异图像D中的各自的亮度值大于0的像素的所有yd中的最大值和最小值。
通过如上所述控制机器人107的把持操作，本典型实施例的机器人控制设备114可以根据从拍摄图像所获得的与对象物体103有关的信息的精度(摄像精度)来选择把持模式，并且把持对象物体103。即使在不利条件下不能获得与对象物体103有关的详细(正确)信息，也可以提高对象物体103的把持的成功率。
在本典型实施例中，例如，在机器人107进行用以将对象物体103装配至特定位置的操作的情况下，如果成功地获得了(识别出)与对象物体103有关的物体详细信息(步骤S203中为“是”)，则机器人控制设备114选择详细定位把持模式。这样使得能够进行对象物体103的快速装配操作。由于成功地识别出对象物体103的详细(正确)位置和姿势，因此将不会重新把持对象物体103。如果不能识别出(检测到)与对象物体103有关的物体详细信息、而是成功地检测到物体粗略信息(步骤S207中为“是”)，则机器人控制设备114选择粗略定位把持模式以把持对象物体103。在这种情况下，机器人107利用机器人手109把持对象物体103，并且将对象物体103转移至另一场所(例如，重新把持所用的放置台)。然后，机器人107将对象物体103放置在该放置台上并且重新把持对象物体103。在重新把持之后，机器人107进行用以装配对象物体103的操作。例如，在放置台附近配置有能够对对象物体103的详细位置和姿势进行摄像的装置。在检测到对象物体103的详细位置和姿势之后，机器人107可以快速地把持对象物体103。如果不能检测到与对象物体103有关的物体详细信息和物体粗略信息、而是成功地检测到物体线索信息(步骤S210中为“是”)，则机器人控制设备114选择位置范围指定把持模式来进行把持。在这种情况下，机器人107利用机器人手109把持对象物体103，并且将对象物体103转移至重新把持所用的放置台。然后，机器人107将对象物体103放置在该放置台上并且重新把持对象物体103。在重新把持之后，机器人107进行用以装配对象物体103的操作。这样，即使不能适当地识别出对象物体103的位置姿势，机器人107也可以在无异常停止的情况下进行装配操作。因此，可以如此提高对象物体103的把持的成功率。
传统的机器人设备通过使用来自照相机的拍摄图像来识别(检测)对象物体的详细位置姿势，并且基于对象物体的详细位置姿势来进行对象物体的把持。如果对象物体的摄像环境或识别条件(状态)差，则可能无法识别正确(详细)位置姿势，并且可能无法保持对象物体。作为对比，根据本典型实施例，机器人系统进行如下处理，其中该处理用于(在一个步骤S202中)同时不仅获得与对象物体103的详细位置姿势相对应的物体详细信息，而且还获得表示粗略位置姿势的物体粗略信息和用作存在对象物体103的线索的物体线索信息。然后，机器人系统基于对象物体103的拍摄图像(基于与对象物体103有关的实际可识别信息的精度)来选择把持模式，并且通过使用与该把持模式相对应的物体信息来把持对象物体103。即使在不利条件下不能获得与对象物体103有关的详细信息，也可以如此提高对象物体103的把持的成功率。
在上述说明中，照相机101、信息获取单元104、把持模式选择单元105、把持操作生成单元106和机器人107被描述为经由线路110以有线方式连接。然而，这些组件可以以无线方式连接。
本发明可以以除上述的第一典型实施例以外的各种模式来实现。在第一典型实施例中，信息获取单元104在一个步骤(S202)中进行用于获得三个类型的物体信息(物体详细信息、物体粗略信息和物体线索信息)的处理。在第一典型实施例中，在物体信息获取处理(步骤S202)之后，把持模式选择单元105基于与对象物体103有关的实际识别信息的精度(摄像精度)来选择(确定)把持模式。在第二典型实施例中，信息获取单元104在一个步骤中获得一个类型的物体信息。更具体地，在第二典型实施例中，减轻了信息获取单元104在一个步骤的处理负荷。这样可以使得实现了最短操作的选择详细定位把持模式时的操作(机器人系统整体的操作)加速。
第二典型实施例中所使用的机器人系统具有与第一典型实施例(图1A和1B)所述的结构相同的结构。因而，在以下说明中，将使用与第一典型实施例相同的附图标记。在第二典型实施例中，照相机101同样拍摄对象物体103的图像。信息获取单元104通过使用拍摄图像来获得与对象物体103有关的物体信息。然后，机器人107把持对象物体103。
图9是说明根据本典型实施例的机器人控制设备114的处理的流程图。以下将根据图9的步骤来说明操作。
在步骤S901中，照相机101从上方拍摄对象物体103的图像以获得对象物体103的拍摄图像。步骤S901的处理与第一典型实施例的步骤S201的处理相同。因而将省略针对该处理的详细说明。
在步骤S902中，信息获取单元104通过使用步骤S901中所获得的拍摄图像来获得物体详细信息。信息获取单元104通过与根据第一典型实施例的步骤S301～S306(图3)的过程相同的过程来获得物体详细信息。与第一典型实施例(步骤S301和S304)相同，信息获取单元104获得差异图像D和最小匹配误差emin。
在步骤S903中，把持模式选择单元105将步骤S902中所获得的最小匹配误差emin与预先设置的第一阈值eprecise进行比较。如果最小匹配误差emin小于第一阈值eprecise(步骤S903中为“是”)，则判断为从拍摄图像中成功地识别出与对象物体103有关的详细信息(正确位置和姿势)。然后，处理进入步骤S904。如果最小匹配误差emin大于或等于第一阈值eprecise(步骤S903中为“否”)，则判断为未能识别出(检测到)与对象物体103有关的详细信息。然后，处理进入步骤S907。
在步骤S904～S906中，把持模式选择单元105选择把持模式，把持操作生成单元106生成把持操作，并且机器人107进行物体把持操作。步骤S904～S906的处理与根据第一典型实施例的步骤S204～S206的处理相同。因此，将省略针对该处理的说明。
如果最小匹配误差emin等于或大于第一阈值eprecise(步骤S903中为“否”)，则在步骤S907中，信息获取单元104通过使用步骤S901中所获得的拍摄图像来获得物体粗略信息。信息获取单元104通过与根据第一典型实施例的步骤S307的处理相同的处理来获得物体粗略信息。
在步骤S908中，把持模式选择单元105将步骤S902中所获得的最小匹配误差emin与预先设置的第二阈值erough进行比较。如果最小匹配误差emin小于第二阈值erough(步骤S908中为“是”)，则判断为成功地识别出(检测到)与对象物体103有关的粗略信息。然后，处理进入步骤S909。如果最小匹配误差emin大于或等于第二阈值erough(步骤S908中为“否”)，则判断为未能识别出与对象物体103有关的粗略信息。然后，处理进入步骤S911。
在步骤S909和S910中，把持模式选择单元105选择把持模式并且把持操作生成单元106生成把持操作。步骤S909的详情与根据第一典型实施例的步骤S208的详情相同。步骤S910的详情与根据第一典型实施例的步骤S209的详情相同。因而，将省略针对这两个步骤的说明。在步骤S910之后，处理进入步骤S906。在步骤S906中，机器人107执行物体把持操作。
如果最小匹配误差emin大于或等于第二阈值erough(步骤S908中为“否”)，则在步骤S911中，信息获取单元104通过使用步骤S901中所获得的拍摄图像来获得物体线索信息。信息获取单元104通过与根据第一典型实施例的步骤S308的处理相同的处理来获得物体线索信息。
在步骤S912中，把持模式选择单元105将步骤S902中所获得的差异图像D中的各自的亮度值大于0的像素的像素数mD与作为预先设置的阈值的像素数阈值mclue进行比较。如果像素数mD大于或等于像素数阈值mclue(步骤S912中为“是”)，则判断为成功地识别出用作对象物体103的线索的信息。然后，处理进入步骤S913。如果像素数mD小于像素数阈值mclue(步骤S912中为“否”)，则判断为未能识别出用作对象物体103的线索的信息。然后，处理进入步骤S915。
在S913和S914中，把持模式选择单元105选择把持模式并且把持操作生成单元106生成把持操作。步骤S913的详情与根据第一典型实施例的步骤S211的详情相同。步骤S914的详情与根据第一典型实施例的步骤S212的详情相同。因此，将省略针对这两个步骤的说明。在步骤S914之后，处理进入步骤S906。在步骤S906中，机器人107执行物体把持操作。
如果像素数mD小于像素数阈值mclue(步骤S912中为“否”)，则在步骤S915中，把持模式选择单元105选择随机把持模式。在步骤S916中，把持操作生成单元106生成把持操作。步骤S915的详情与根据第一典型实施例的步骤S213的详情相同。步骤S916的详情与根据第一典型实施例的步骤S214的详情相同。因而将省略针对这两个步骤的说明。在步骤S916之后，处理进入步骤S906。在步骤S906中，机器人107执行物体把持操作。
这样，可以进行步骤S901～S916的操作，以利用机器人107把持对象物体103。
在本典型实施例中，如上所述，通过控制机器人107的把持操作来顺次地(连续地而不是同时)进行各物体信息的获取。根据物体信息的顺次获取，例如，如果获得了物体详细信息并且成功地识别出与对象物体103有关的详细信息(步骤S903中为“是”)，则不进行物体粗略信息的获取(步骤S907)，并且也不进行物体线索信息的获取(步骤S911)。如果获得了物体粗略信息并且成功识别出与对象物体103有关的粗略信息(步骤S908中为“是”)，则不进行物体线索信息的获取(S911)。换句话说，在第二典型实施例中，各物体信息的顺次获取使得能够通过比第一典型实施例中的处理负荷低的处理负荷来获取到期望的物体信息。在这种情况下，可以缩短信息获取单元104的处理时间。
在第二典型实施例中，顺次地进行各物体信息的获取。因而，信息获取单元104在一个步骤中获得一个类型的物体信息。这样减轻了一个步骤的处理负荷。可以减轻一个步骤的处理负荷以缩短一个步骤中的信息获取单元104的处理时间。
本典型实施例的机器人系统可以获得物体信息，基于拍摄图像来选择(确定)把持模式，并且把持对象物体103。因此，除第一典型实施例的效果外，如此还可以加速详细定位把持模式和粗略定位把持模式的操作。特别地，在对象物体103的摄像环境良好并且机器人107更有可能选择详细定位把持模式的情况下，本典型实施例是适当的。
上述的第一典型实施例和第二典型实施例不应被视为限制性的。在第一典型实施例中，信息获取单元104获得多个类型的物体信息，并且基于实际获得的(可识别的)与对象物体103有关的信息的精度来确定把持模式。可选地，信息获取单元104可以仅获得物体详细信息，并且可以基于拍摄图像来选择把持模式。将说明具有这种结构的机器人控制设备作为第三典型实施例。第三典型实施例中所使用的机器人系统具有与第一典型实施例(图1A和1B)所述的结构相同的结构。因此，在以下说明中，将使用与第一典型实施例的附图标记相同的附图标记。在第三典型实施例中，照相机101同样拍摄对象物体103的图像。信息获取单元104通过使用拍摄图像来获得与对象物体103有关的物体信息。然后，机器人107把持对象物体103。在第三典型实施例中，仅获得物体详细信息，并且基于拍摄图像来选择把持模式，由此可以加速机器人107的操作。
图10是说明根据本典型实施例的机器人控制设备114的处理的流程图。以下将根据图10的步骤来说明操作。
在步骤S1001中，照相机101从上方拍摄对象物体103的图像以获得拍摄图像。步骤S1001的处理与第一典型实施例的步骤S201的处理相同。
在步骤S1002中，信息获取单元104通过使用步骤S1001中所获得的拍摄图像来获得物体详细信息。更具体地，信息获取单元104进行与根据第一典型实施例的步骤S301～S306的处理相同的处理。与第一典型实施例(步骤S304)相同，信息获取单元104确定此时的最小匹配误差emin。
在步骤S1003中，把持模式选择单元105将步骤S1002中所获得的最小匹配误差emin与预先设置的阈值eprecise进行比较。如果最小匹配误差emin小于阈值eprecise(步骤S1003中为“是”)，则判断为成功地识别出(获得了)与对象物体103有关的详细信息。然后，处理进入步骤S1004。如果最小匹配误差emin大于或等于阈值eprecise(步骤S1003中为“否”)，则判断为未能识别出与对象物体103有关的详细信息。然后，处理进入步骤S1007。
在步骤S1004～S1006中，把持模式选择单元105选择把持模式，把持操作生成单元106生成把持操作，并且机器人107执行物体把持操作。步骤S1004～S1006的详情与根据第一典型实施例的步骤S204～S206的详情相同。因此，将省略针对这些步骤的说明。
如果最小匹配误差emin大于或等于阈值eprecise(步骤S1003中为“否”)，则在步骤S1007中，把持模式选择单元105选择随机把持模式。在步骤S1008中，把持操作生成单元106生成把持操作。步骤S1007的详情与根据第一典型实施例的步骤S213的详情相同。步骤S1008的详情与根据第一典型实施例的步骤S214的详情相同。因此，将省略针对这两个步骤的处理。在步骤S1008之后，处理进入步骤S1006。在步骤S1006中，机器人107进行物体把持操作。
这样，可以进行步骤S1001～S1008的操作，以利用机器人107把持对象物体103。
如上所述，在本典型实施例中，仅进行物体详细信息的获取处理。基于实际获得的与对象物体103有关的信息的精度(摄像精度)(步骤S1003)来选择把持模式，并且进行对象物体103的把持。这样缩短了信息获取单元104的处理时间，并且大幅缩减了把持模式选择单元105所进行的步骤的分支(图2和10之间的比较示出了在图10中不存在与步骤S207和S210相对应的步骤)。因此，除第一典型实施例的效果外，还加速了机器人控制设备114的处理速度和机器人107的操作整体。在对象物体103有可能被把持、并且机器人107即使在随机把持模式中也有可能成功进行把持的情况下，本典型实施例是适当的。
变形例
上述的第一典型实施例～第三典型实施例不应被视为限制性的。例如，可以对上述的典型实施例进行以下的修改和添加。
包括与第一典型实施例中的机器人操作不同的机器人操作的变形例
根据第一典型实施例的机器人107被描述为：把持对象物体103，然后将对象物体103收集至预定位置(区域)。然而，机器人107的操作不限于此。例如，在以根据所拍摄到的物体信息的信息精度所选择的把持模式下把持对象物体103之后，机器人107可以改变对象物体103的配置位置。
更具体地，如果获得了(成功地识别出)与对象物体103有关的详细信息，则机器人控制设备114判断为对象物体103是处于正常状态的物体，并且将对象物体103转移并配置到正常物体所用的带式输送机(未示出)上。如果没有获得与对象物体103有关的详细信息、而是获得了粗略信息，则机器人控制设备114判断为对象物体103可能存在缺陷。然后，机器人控制设备114通过使用机器人107将对象物体103转移并配置到检查所用的带式输送机(未示出)上。如果没有获得与对象物体103有关的粗略信息、而是获得了线索信息，则机器人控制设备114判断为对象物体103存在某种异常。然后，机器人控制设备114将对象物体103转移并配置到异常物体所用的带式输送机(未示出)上。如果没有获得线索信息，则机器人控制设备114控制机器人107以将对象物体103转移并配置到废弃物所用的带式输送机(未示出)上。这样，可以通过根据所获得的与对象物体103有关的信息的精度来选择把持模式并且改变随后的配置位置(转移目的地)，来进行适合对象物体103的状态的操作。
使用三维图像传感器的变形例
根据第一典型实施例～第三典型实施例的照相机101从上方拍摄对象物体103的图像以获得作为物体测量值的拍摄图像。因而，根据上述典型实施例的照相机101是测量单元。测量单元不限于照相机101。测量单元可以是任何类型的测量单元，只要可以获得用于计算与对象物体103有关的诸如位置、姿势、像素和亮度等的物体信息的物体测量值即可。例如，可以使用飞行时间形式的三维图像传感器作为测量单元。代替对象物体103的以像素为单位的亮度值，飞行时间形式的三维图像传感器可以获得距离值作为物体测量值。可以使用三维传感器来确定更正确的位置姿势作为物体详细信息。三维图像传感器的使用还使得能够使用距离差而不是亮度差作为物体线索信息。
使用除图像传感器以外的测量单元的变形例
机器人控制设备114或机器人系统的测量单元不限于图像传感器。例如，机器人系统的测量传感器可以通过使用超声波的测量或者通过使用探测器的接触测量，来测量来自测量单元的距离并且获得与上述的三维图像传感器的物体测量值相同的物体测量值。超声波或接触测量的使用使得能够进行不依赖于对象物体103的表面上的光反射率的测量。这种测量单元在把持透明的对象物体的情况下是适当的。
不包括详细定位把持模式的变形例
根据第一典型实施例和第二典型实施例的信息获取单元104获得三个物体信息(物体详细信息、物体粗略信息和物体线索信息)。然而，根据机器人107要处理的对象物体103的形状和大小以及机器人107的预期操作，信息获取单元104并非始终需要获得三个物体信息。例如，如果对象物体103容易把持、并且机器人107的操作是仅仅使所把持的对象物体103平置而不是正确地组装所把持的对象物体103，则信息获取单元104可以在无需获得物体详细信息的情况下获得更为简单的物体粗略信息和物体线索信息。可选地，信息获取单元104在无需获得物体详细信息的情况下，可以根据预期操作来选择性地获得物体粗略信息或物体线索信息。在这种情况下，把持模式选择单元105在无需选择详细定位把持模式的情况下，从粗略定位把持模式和位置范围指定把持模式中选择与物体信息相对应的把持模式。把持操作生成单元106相应地生成把持操作。如果根据对象物体103的形状和大小以及机器人107的预期操作而将物体详细信息视为不需要，则可以省略物体详细信息的计算(获取)以加速信息获取单元104的处理。
为了构建具有这种结构的机器人系统，例如，在图1A的照相机101和信息获取单元104之间设置控制单元。然后，控制单元基于对象物体103的形状和大小以及/或者机器人107的预期操作来指示信息获取单元104不进行物体详细信息的获取处理。换句话说，控制单元检测三个物体信息中的不需要的物体信息。基于该检测结果，例如，控制单元进行用以省略物体详细信息的获取处理的控制。结果，不执行图2的步骤S203～S205的处理。在图2的步骤S202之后，处理进入步骤S207而不是步骤S203。假定机器人107的预期操作已被预先输入至控制单元。
包括针对物体详细信息的不同计算方法的变形例
为了计算物体详细信息，根据第一典型实施例～第三典型实施例的信息获取单元104获得重心g和长边方向上的主轴h，进行归一化，并且计算模板匹配。然而，该计算方法不应被视为限制性的。可以使用除归一化处理或模板匹配以外的方法，只要可以获得对象物体103的正确位置姿势即可。例如，如果对象物体103接近圆形形状、并且不能稳定地获得长边的主轴，则难以对对象物体103的图像进行归一化。在这种情况下，为了在无需进行归一化的情况下进行直接匹配，可以检测并记录诸如尺度不变特征变换(SIFT)等的不依赖于对象物体103的转动方向的图像特征量。这样使得能够应对各种形状的对象物体。
包括针对物体粗略信息的不同计算方法的变形例
为了计算物体粗略信息，根据第一典型实施例～第三典型实施例的信息获取单元104将模板匹配时的最小匹配误差emin与加权因数α和β相乘，以向对象物体103的位置和姿势给予变化。然而，该计算方法不应被视为限制性的。例如，如果难以对对象物体103的图像进行归一化，则信息获取单元104可以随机地选择通过SIFT所获得的高阶匹配候选和相应的位置姿势。在这种情况下，可以使用所选择的高阶匹配结果的误差作为与最小匹配误差emin等同的值。这样使得能够应对甚至更多种形状的对象物体。此外，随机地采取高阶匹配候选的位置姿势可以避免如下问题：通过使用基于误识别的局部解来继续选择错误的位置姿势。
包括针对物体线索信息的不同计算方法的变形例
在计算物体线索信息时，根据第一典型实施例～第三典型实施例的信息获取单元104使用差异图像D存在的区域。在另一典型实施例中，例如，如果背景的亮度和对象物体103的亮度接近，则代替亮度差，信息获取单元104可以通过使用诸如亮度方差值以及亮度边缘和亮度角部的位置和数量等的值来获得物体线索信息。尽管诸如带式输送机102的图像等的背景图像包括均一的亮度值，但对象物体103具有相对复杂的形状，并且对象物体103预期具有许多亮度方差、亮度边缘和亮度角部。通过获得包括对象物体103预期具有的值的这种位置范围，该位置范围可以是物体线索信息。
如果使用上述的三维图像传感器，则根据对象物体103的形状，可以通过使用除距离差以外的诸如最近邻距离、邻近区域的位置和面积、距离方差值以及距离边缘和距离角部的位置和数量等的值，来获得物体线索信息。尽管从三维图像传感器到诸如带式输送机102等的背景的距离是均一的距离，但对象物体103具有相对复杂的形状，并且对象物体103预期具有大量距离方差、距离边缘和距离角部。由于从三维图像传感器到对象物体103的距离短于从三维图像传感器到带式输送机102的距离，因此对象物体103预期存在于最近邻位置或邻近区域内。因而，可以将包括对象物体103预期具有的值的这种位置范围确定作为物体线索信息。
可选地，可以使用贴附至对象物体103的位置部分的特定条形码或者对象物体103的图案或形状特征作为物体线索信息。如果对象物体103具有这些特定特征，则可以更适当地获得物体线索信息。
根据这些典型实施例的机器人控制设备114的信息获取单元104可以是任何类型，只要可以计算出与对象物体103有关的物体信息即可。
具有不同的把持单元的变形例
根据第一典型实施例～第三典型实施例的机器人107的把持单元是图1A所示的典型的两指机器人手109。然而，这种类型的把持单元不应被视为限制性的。例如，机器人手109可以是即使采用除特定姿势以外的姿势也通过同一操作来把持各种形状的对象物体的通用手。通用手的示例是包括填充有粉末的薄橡胶袋的手。利用泵吸出该橡胶袋内的空气以使橡胶部变硬，由此把持对象物体103。
根据本发明的机器人107的把持单元可以是任何类型，只要把持单元可以以任意姿势把持对象物体103即可。
硬件结构
图11是示出机器人系统的硬件结构的示例的框图。如图11所示，机器人系统包括照相机101、机器人控制设备114和机器人107。机器人控制设备114包括图像处理单元120、接口121、中央处理单元(CPU)122、只读存储器(ROM)123、随机存取存储器(RAM)124、硬盘驱动器(HDD)125和接口126。CPU 122是机器人控制设备114的运算单元。机器人控制设备114包括ROM 123和RAM 124作为存储单元。接口121、CPU 122、ROM 123、RAM 124、HDD 125和接口126经由总线127相互连接。ROM 123存储诸如基本输入/输出系统(BIOS)等的基本程序。RAM 124暂时存储诸如CPU 122的运算处理结果等的各种数据。HDD 125存储CPU 122的计算结果、从机器人系统的外部所获得的各种数据、以及用以使CPU 122执行各种运算处理的程序128。CPU 122基于HDD 125中所存储的程序128来控制机器人107的把持操作。
接口121与图像处理单元120相连接。图像处理单元120进行用于根据从照相机101输入的拍摄图像来获得对象物体103的位置和姿势的图像处理，并且将表示对象物体103的位置和姿势的数据经由接口121和总线127发送至CPU 122。其它接口126与机器人107相连接。CPU 122基于用于生成把持操作数据的程序128来计算机器人手109的把持操作，并且向机器人臂108和机器人手109发送命令。诸如可重写的非易失性存储器和外部HDD等的外部存储单元可以连接至总线127。
其它变形例
在第一典型实施例和第二典型实施例中，机器人107被描述为包括四个把持模式。在第三典型实施例中，机器人107被描述为包括两个把持模式。然而，把持模式的数量不限于两个或四个。
根据典型实施例的机器人107的把持模式选择单元105可以是任何类型，只要基于对象物体103的拍摄图像来选择把持模式即可。
根据典型实施例的机器人控制设备114的把持操作生成单元106可以是任何类型，只要根据所选择的把持模式来生成把持操作即可。
机器人控制设备114可以包括照相机101(或三维图像传感器)、信息获取单元104、把持模式选择单元105和把持操作生成单元106。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种机器人控制设备，用于控制机器人的操作，所述机器人用于把持对象物体，所述机器人控制设备包括：
获取单元，用于获得与所述对象物体的位置和姿势有关的信息；
选择单元，用于基于所述对象物体的拍摄图像来选择多个把持模式其中之一；以及
生成单元，用于基于所获得的位置和姿势以及所选择的把持模式来生成把持操作数据，
其中，所述把持操作数据用于限定所述机器人的把持操作。
2.根据权利要求1所述的机器人控制设备，其中，
所述获取单元基于所述对象物体的拍摄图像来获得与位置和姿势有关的信息，以及
所述选择单元选择如下的把持模式，该把持模式对应于与所获得的位置和姿势有关的信息。
3.根据权利要求1所述的机器人控制设备，其中，
所述获取单元基于所述对象物体的拍摄图像来获得与多个位置和姿势有关的多个信息，以及
所述选择单元根据所获得的位置和姿势的类型来选择把持模式。
4.根据权利要求3所述的机器人控制设备，其中，还包括确定单元，所述确定单元用于从与多个位置和姿势有关的多个类型的信息中确定所述获取单元要获得的与位置和姿势有关的信息。
5.根据权利要求1所述的机器人控制设备，其中，
所述获取单元获得与位置和姿势有关的一个类型的信息，
在所述选择单元成功地选择了对应于与位置和姿势有关的所述一个类型的信息的把持模式的情况下，所述生成单元通过使用与位置和姿势有关的所述一个类型的信息来生成所述把持操作数据，以及
在所述选择单元未能选择对应于与位置和姿势有关的所述一个类型的信息的把持模式的情况下，所述获取单元获得与位置和姿势有关的其它类型的信息。
6.根据权利要求1所述的机器人控制设备，其中，
所述获取单元获得与位置和姿势有关的一个类型的信息，
在所述选择单元成功地选择了对应于与位置和姿势有关的所述一个类型的信息的把持模式的情况下，所述生成单元通过使用与位置和姿势有关的所述一个类型的信息来生成所述把持操作数据，以及
在所述选择单元未能选择对应于与位置和姿势有关的所述一个类型的信息的把持模式的情况下，所述选择单元选择其它把持模式。
7.根据权利要求1所述的机器人控制设备，其中，还包括测量单元，所述测量单元用于测量所述对象物体，
其中，所述选择单元通过使用所述测量单元所测量到的值来选择把持模式。
8.根据权利要求1所述的机器人控制设备，其中，与位置和姿势有关的信息包括用于标识所述对象物体的位置和姿势的信息。
9.根据权利要求1所述的机器人控制设备，其中，与位置和姿势有关的信息包括表示所述对象物体的位置和姿势的可能范围的信息。
10.根据权利要求1所述的机器人控制设备，其中，与位置和姿势有关的信息包括表示在预定区域中存在所述对象物体的信息。
11.根据权利要求1所述的机器人控制设备，其中，在基于所述拍摄图像成功地识别出所述对象物体的位置和姿势的情况下，所述选择单元基于所述对象物体的位置和姿势来选择把持模式。
12.根据权利要求1所述的机器人控制设备，其中，在基于所述拍摄图像而未能识别出所述对象物体的位置和姿势但成功地检测到所述对象物体的位置和姿势的可能范围的情况下，所述选择单元基于所述对象物体的位置和姿势的可能范围来选择把持模式。
13.根据权利要求1所述的机器人控制设备，其中，在基于所述拍摄图像而未能识别出所述对象物体的位置和姿势、未能检测到所述对象物体的位置和姿势的可能范围、但成功地检测到在预定区域中存在所述对象物体的情况下，所述选择单元基于与所述预定区域有关的信息来选择把持模式。
14.根据权利要求1所述的机器人控制设备，其中，在所述选择单元所选择的把持模式不对应于所述获取单元所获得的任何信息的情况下，所述生成单元在不使用与所述对象物体的位置和姿势有关的信息的情况下生成所述把持操作数据。
15.一种机器人系统，包括：
机器人控制设备，用于控制机器人的操作，所述机器人用于把持对象物体；以及
机器人，用于把持所述对象物体，
其中，所述机器人控制设备包括：
获取单元，用于获得与所述对象物体的位置和姿势有关的信息；
选择单元，用于基于所述对象物体的拍摄图像来选择多个把持模式其中之一；以及
生成单元，用于基于所获得的位置和姿势以及所选择的把持模式来生成把持操作数据，
其中，所述把持操作数据用于限定所述机器人的把持操作。
16.一种机器人控制设备的控制方法，所述机器人控制设备用于控制机器人的操作，所述机器人用于把持对象物体，所述控制方法包括以下步骤：
获得与所述对象物体的位置和姿势有关的信息；
基于所述对象物体的拍摄图像来选择多个把持模式其中之一；以及
基于所获得的位置和姿势以及所选择的把持模式来生成把持操作数据，
其中，所述把持操作数据用于限定所述机器人的把持操作。
CN201610963497.6A 2015-11-06 2016-11-04 机器人控制设备及其控制方法和机器人系统 Active CN106945035B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-218215 2015-11-06
JP2015218215A JP6711591B2 (ja) 2015-11-06 2015-11-06 ロボット制御装置およびロボット制御方法

Publications (2)

Publication Number Publication Date
CN106945035A true CN106945035A (zh) 2017-07-14
CN106945035B CN106945035B (zh) 2020-10-30

Family

ID=58668465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610963497.6A Active CN106945035B (zh) 2015-11-06 2016-11-04 机器人控制设备及其控制方法和机器人系统

Country Status (4)

Country Link
US (1) US10695905B2 (zh)
JP (1) JP6711591B2 (zh)
KR (1) KR102086884B1 (zh)
CN (1) CN106945035B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958425A (zh) * 2018-09-27 2020-04-03 佳能株式会社 信息处理装置、信息处理方法和系统
CN111470070A (zh) * 2020-05-09 2020-07-31 清华大学 一种空间非合作目标无接触消旋辨识装置及方法
CN111776762A (zh) * 2018-10-30 2020-10-16 牧今科技 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
CN112236272A (zh) * 2018-07-13 2021-01-15 欧姆龙株式会社 把持姿态评价装置和把持姿态评价程序
CN112446287A (zh) * 2019-08-28 2021-03-05 佳能株式会社 设置设备的控制处理过程的电子装置、方法和存储介质
CN113344108A (zh) * 2021-06-25 2021-09-03 视比特(长沙)机器人科技有限公司 一种商品识别与姿态估计方法及装置
US11780101B2 (en) 2018-10-30 2023-10-10 Mujin, Inc. Automated package registration systems, devices, and methods

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6589847B2 (ja) * 2016-12-26 2019-10-16 株式会社ダイフク 物品積載設備
JP6880457B2 (ja) * 2017-11-14 2021-06-02 オムロン株式会社 把持方法、把持システム及びプログラム
US11314220B2 (en) 2018-04-26 2022-04-26 Liberty Reach Inc. Non-contact method and system for controlling an industrial automation machine
US11312014B2 (en) * 2018-09-10 2022-04-26 Kindred Systems Inc. System and method for robotic gripping utilizing dynamic collision modeling for vacuum suction and finger control
EP3646995A1 (de) * 2018-10-29 2020-05-06 Siemens Aktiengesellschaft Vollautomatisierte montage und kontaktierung elektrischer bauteile
KR102619004B1 (ko) 2018-12-14 2023-12-29 삼성전자 주식회사 로봇 장치 및 로봇의 작업 기술을 학습하는 방법
JP6810173B2 (ja) * 2019-01-29 2021-01-06 日本金銭機械株式会社 物体把持システム
US10583560B1 (en) * 2019-04-03 2020-03-10 Mujin, Inc. Robotic system with object identification and handling mechanism and method of operation thereof
CN112614181B (zh) * 2020-12-01 2024-03-22 深圳乐动机器人股份有限公司 一种基于高亮目标的机器人定位方法及装置
KR102473296B1 (ko) * 2021-08-17 2022-12-02 박광중 픽앤플레이스 모니터링 방법, 그의 제어 장치 및 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240889A1 (en) * 2007-03-29 2008-10-02 Honda Motor Co., Ltd. Robot, control method of robot and control program of robot
CN101360588A (zh) * 2006-02-02 2009-02-04 株式会社安川电机 机器人系统
CN101842195A (zh) * 2007-10-29 2010-09-22 佳能株式会社 把持设备和把持设备控制方法
US20130184870A1 (en) * 2012-01-13 2013-07-18 Yasuhiro Ota Methods and computer-program products for generating grasp patterns for use by a robot
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US20140074291A1 (en) * 2011-05-12 2014-03-13 Ihi Corporation Motion prediction control device and method
CN103678754A (zh) * 2012-08-28 2014-03-26 佳能株式会社 信息处理装置及信息处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04109815U (ja) * 1991-02-28 1992-09-24 ダイキン工業株式会社 部品供給装置
JP3314890B2 (ja) 1993-04-23 2002-08-19 澁谷工業株式会社 物品整列装置
JP3805310B2 (ja) 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
WO2005099417A2 (en) * 2004-04-12 2005-10-27 Strider Labs, Inc. System and method for computing grasps for a robotic hand with a palm
JP4481291B2 (ja) * 2006-12-01 2010-06-16 本田技研工業株式会社 ロボット、ならびにその制御方法および制御プログラム
JP2013046937A (ja) * 2011-08-29 2013-03-07 Dainippon Screen Mfg Co Ltd 対象物把持装置および対象物把持方法および対象物把持プログラム
JP5426719B2 (ja) * 2012-05-18 2014-02-26 ファナック株式会社 ロボットシステムの動作シミュレーション装置
DE102012013022A1 (de) * 2012-06-29 2014-04-24 Liebherr-Verzahntechnik Gmbh Vorrichtung zur automatisierten Handhabung von Werkstücken
JP2014240106A (ja) * 2013-06-12 2014-12-25 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットの駆動方法
JP5905549B1 (ja) * 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
JP6529302B2 (ja) * 2015-03-24 2019-06-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360588A (zh) * 2006-02-02 2009-02-04 株式会社安川电机 机器人系统
US20080240889A1 (en) * 2007-03-29 2008-10-02 Honda Motor Co., Ltd. Robot, control method of robot and control program of robot
CN101842195A (zh) * 2007-10-29 2010-09-22 佳能株式会社 把持设备和把持设备控制方法
US20140074291A1 (en) * 2011-05-12 2014-03-13 Ihi Corporation Motion prediction control device and method
US20130184870A1 (en) * 2012-01-13 2013-07-18 Yasuhiro Ota Methods and computer-program products for generating grasp patterns for use by a robot
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them
CN103678754A (zh) * 2012-08-28 2014-03-26 佳能株式会社 信息处理装置及信息处理方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236272B (zh) * 2018-07-13 2024-01-30 欧姆龙株式会社 把持姿态评价装置和把持姿态评价程序
CN112236272A (zh) * 2018-07-13 2021-01-15 欧姆龙株式会社 把持姿态评价装置和把持姿态评价程序
CN110958425B (zh) * 2018-09-27 2021-07-23 佳能株式会社 信息处理装置、信息处理方法和系统
US11541545B2 (en) 2018-09-27 2023-01-03 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and system
CN110958425A (zh) * 2018-09-27 2020-04-03 佳能株式会社 信息处理装置、信息处理方法和系统
US11189033B2 (en) 2018-10-30 2021-11-30 Mujin, Inc. Robotic system with automated package registration mechanism and auto-detection pipeline
US11288810B2 (en) 2018-10-30 2022-03-29 Mujin, Inc. Robotic system with automated package registration mechanism and methods of operating the same
US11062457B2 (en) 2018-10-30 2021-07-13 Mujin, Inc. Robotic system with automated package registration mechanism and minimum viable region detection
US12002007B2 (en) 2018-10-30 2024-06-04 Mujin, Inc. Robotic system with automated package scan and registration mechanism and methods of operating the same
US11176674B2 (en) 2018-10-30 2021-11-16 Mujin, Inc. Robotic system with automated object detection mechanism and methods of operating the same
US11961042B2 (en) 2018-10-30 2024-04-16 Mujin, Inc. Robotic system with automated package registration mechanism and auto-detection pipeline
US11797926B2 (en) 2018-10-30 2023-10-24 Mujin, Inc. Robotic system with automated object detection mechanism and methods of operating the same
CN111776762B (zh) * 2018-10-30 2021-07-23 牧今科技 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
US11501445B2 (en) 2018-10-30 2022-11-15 Mujin, Inc. Robotic system with automated package scan and registration mechanism and methods of operating the same
CN111776762A (zh) * 2018-10-30 2020-10-16 牧今科技 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
US11636605B2 (en) 2018-10-30 2023-04-25 Mujin, Inc. Robotic system with automated package registration mechanism and minimum viable region detection
US11780101B2 (en) 2018-10-30 2023-10-10 Mujin, Inc. Automated package registration systems, devices, and methods
CN112446287A (zh) * 2019-08-28 2021-03-05 佳能株式会社 设置设备的控制处理过程的电子装置、方法和存储介质
CN111470070B (zh) * 2020-05-09 2022-03-22 清华大学 一种空间非合作目标无接触消旋辨识装置及方法
CN111470070A (zh) * 2020-05-09 2020-07-31 清华大学 一种空间非合作目标无接触消旋辨识装置及方法
CN113344108A (zh) * 2021-06-25 2021-09-03 视比特(长沙)机器人科技有限公司 一种商品识别与姿态估计方法及装置

Also Published As

Publication number Publication date
KR20170053585A (ko) 2017-05-16
CN106945035B (zh) 2020-10-30
JP6711591B2 (ja) 2020-06-17
JP2017087326A (ja) 2017-05-25
US20170129101A1 (en) 2017-05-11
KR102086884B1 (ko) 2020-03-09
US10695905B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
CN106945035A (zh) 机器人控制设备及其控制方法和机器人系统
Wang et al. Mask-pose cascaded cnn for 2d hand pose estimation from single color image
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
TWI607412B (zh) 多維度尺寸量測系統及其方法
US9159134B2 (en) Method and apparatus for estimating a pose
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
CN108297095A (zh) 校准装置、校准方法以及计算机能够读取的介质
CN108297096A (zh) 校准装置、校准方法以及计算机能够读取的介质
CN111127422A (zh) 图像标注方法、装置、系统及主机
CN109559371B (zh) 一种用于三维重建的方法和装置
JP4900204B2 (ja) 物体認識方法
US20150262415A1 (en) Image processing device, system, image processing method, and image processing program
CN111192293A (zh) 一种运动目标位姿跟踪方法及装置
JP2008506953A5 (zh)
JP2016091108A (ja) 人体部位検出システムおよび人体部位検出方法
US20140043328A1 (en) Reference Object for Three-Dimensional Modeling
JP2002024807A (ja) 物体運動追跡手法及び記録媒体
Cheng et al. Real-time and efficient 6-D pose estimation from a single RGB image
CN107077739A (zh) 使用单目相机的三维标记模型构建和实时跟踪
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
US11989928B2 (en) Image processing system
JP6915611B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2010184300A (ja) 姿勢変更システムおよび姿勢変更方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant