CN112207813A - 运算装置、机器学习方法以及非暂时性存储介质 - Google Patents
运算装置、机器学习方法以及非暂时性存储介质 Download PDFInfo
- Publication number
- CN112207813A CN112207813A CN202010498466.4A CN202010498466A CN112207813A CN 112207813 A CN112207813 A CN 112207813A CN 202010498466 A CN202010498466 A CN 202010498466A CN 112207813 A CN112207813 A CN 112207813A
- Authority
- CN
- China
- Prior art keywords
- moving
- robot
- target
- state variable
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000005484 gravity Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
- B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40298—Manipulator on vehicle, wheels, mobile
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40364—Position of robot platform as additional task
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40411—Robot assists human in non-industrial environment like home or office
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Manipulator (AREA)
Abstract
一种运算装置、机器学习方法以及非暂时性存储介质，所述运算装置进行用于对移动机械手的动作进行控制的运算，所述移动机械手进行通过机械手保持多个对象物品而移动到规定的位置的作业，所述运算装置具备：存储部，存储有通过输入多个训练数据集来进行学习的学习完成的机器学习模型，所述训练数据集由预先取得的状态变量以及与状态变量对应的判定数据的组合构成；及运算部，通过向从存储部读出的学习完成的机器学习模型输入状态变量来输出在当前的时间点应该移动到规定的位置的移动对象物品，状态变量包括移动机械手的特定部位与对象物品的相对位置，将与状态变量对应的判定数据设为所述移动对象物品。
Description
技术领域
本发明涉及进行用于对移动机械手的动作进行控制的运算的运算装置、机器学习方法以及非暂时性存储介质，该移动机械手进行通过机械手保持多个移动对象物品而向规定的位置移动的作业。
背景技术
已知通过机械手对对象物品进行保持的机器人。例如日本特开2018-051664中公开了一种将机器人固定于规定的位置并利用机器学习模型来学习用该机械手对在传送带上的规定区域配置的多个物品进行保持的顺序的技术。
然而，日本特开2018-051664中公开的技术以处于将机器人固定于规定的位置的状态为前提，无法应用于具备机械手的机器人本身移动的移动机械手。
发明内容
本发明提供一种能够通过移动机械手来适当地决定对象物品中的在当前的时刻用于移动到规定的位置的最佳的移动对象物品的运算装置。
本发明的第一方案的运算装置进行用于对移动机械手的动作进行控制的运算，所述移动机械手进行通过机械手保持多个对象物品而移动到规定的位置的作业。所述运算装置具备存储部和运算部。存储部存储有通过输入预先取得的多个训练数据集来进行学习的学习完成的机器学习模型，所述训练数据集由状态变量以及与所述状态变量对应的判定数据的组合构成。运算部通过向从所述存储部读出的所述学习完成的机器学习模型输入所述状态变量来输出在当前的时间点应该移动到规定的位置的移动对象物品。所述状态变量包括所述移动机械手的特定部位与所述对象物品的相对位置，与所述状态变量对应的判定数据是所述移动对象物品。
在机器学习模型的状态变量包括移动机械手的特定部位与对象物品的相对位置时，可知以移动机械手的特定部位为基准的各个对象物品的位置关系。由此，能够通过本身的绝对位置变化的移动机械手来适当地决定对象物品中的在当前的时间点用于移动到规定的位置的最佳的移动对象物品。
在上述方案中，所述状态变量可以包括所述移动机械手的特定部位与障碍物的相对位置。即使移动机械手的特定部位与对象物品的相对位置相同，到规定的位置为止的移动容易度也根据在移动机械手与对象物品之间是否存在障碍物而变化。通过在状态变量包括移动机械手的特定部位与障碍物的相对位置，能够更适当地决定在当前的时间点用于移动到规定的位置的最佳的移动对象物品。
在上述方案中，所述移动机械手的特定部位与所述对象物品的相对位置和所述移动机械手的特定部位与障碍物的相对位置可以是在地图上或位图图像上表示的数据。由此，在使机器学习模型学习的过程中，能够将相邻的障碍物集中作为一体物来处理。
在上述方案中，所述移动对象物品的输出可以是在所述地图或位图图像上表示的所述移动对象物品相对于所述移动机械手的特定部位的相对位置数据。由此，能够统一表述输出，因此能够期待进一步提高机器学习模型的学习性能。并且，在输出在地图上或位图图像上表示的移动对象物品相对于移动机械手的特定部位的相对位置数据时，不需要重新确定移动对象物品，因此能够期待到运算量的削减。
在上述方案中，所述状态变量可以包括在路径计划中获得的从所述移动机械手到所述对象物品的路径上的路径长度。即使移动机械手的特定部位与对象物品的相对位置相同，到规定的位置为止的移动容易度也根据从移动机械手到对象物品的路径上的路径长度而变化。通过这样，能够更适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
在上述方案中，所述状态变量可以包括从所述对象物品到与该对象物品对应的规定的位置的路径长度。即使移动机械手的特定部位与对象物品的相对位置相同，到规定的位置为止的移动容易度也根据从对象物品到与该对象物品对应的规定的位置的路径长度而变化。通过这样，能够更适当地决定在当前的时间点用于移动到规定的位置的最佳的移动对象物品。
在上述方案中，所述移动机械手的特定部位与所述对象物品以及所述障碍物的相对位置可以包括重力方向的信息。在相对于移动机械手而处于对象物品的跟前的障碍物与该对象物品相比重力方向的长度长的情况下，移动机械手若不向该对象物品与障碍物相比来到跟前的那样的位置移动，则无法对该对象物品进行保持。另一方面，在相对于移动机械手而处于对象物品的跟前的障碍物与该对象物品相比重力方向的长度短的情况下，即使障碍物与该对象物品相比处于跟前，若将该对象物品的重力方向上部设为保持位置，则也能够对该对象物品进行保持。如此，在移动机械手的特定部位与对象物品以及障碍物的相对位置包括重力方向的信息时，能够更适当地决定在当前的时间点用于移动到规定的位置的最佳的移动对象物品。
在上述方案中，所述移动机械手的特定部位与所述对象物品的相对位置可以包括该对象物品的可保持区域的信息。即使移动机械手的特定部位与对象物品的相对位置相同，到规定的位置为止的移动容易度也因对象物品的可保持区域相对于移动机械手的位置是处于正面侧还是处于背面侧而变化。通过移动机械手的特定部位与对象物品的相对位置包括对象物品的可保持区域的信息，能够更适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
本发明的第二方案的机器学习方法是用于使计算机如下发挥功能的机器学习模型的机器学习方法：在通过移动机械手具有的机械手保持多个对象物品而移动到规定的位置的作业中输出在当前的时间点应该移动到规定的位置的移动对象物品。所述机器学习方法包括输入多个训练数据集而使所述机器学习模型学习，所述训练数据集由状态变量以及作为判定数据的与所述状态变量对应的在当前的时间点应该移动到规定的位置的移动对象物品的组合构成，所述状态变量包括所述移动机械手的特定部位与所述对象物品的相对位置。据此，能够以在通过移动机械手具有的机械手保持多个对象物品而移动到规定的位置的作业中更适当地决定所述对象物品中的在当前的时间点用于移动到规定的位置的最佳的移动对象物品的方式使机器学习模型学习。
本发明的第三方案的非暂时性存储介质储存能够由一个或多个处理器执行且使所述一个或多个处理器执行以下的功能的命令。所述功能包括：预先取得训练数据集，输入多个所述训练数据集而使机器学习模型学习的步骤，所述训练数据集由状态变量以及作为判定数据的与所述状态变量对应的在当前的时间点应该移动到规定的位置的移动对象物品的组合构成，所述状态变量包括移动机械手的特定部位与对象物品的相对位置，所述移动机械手进行通过机械手保持多个所述对象物品而移动到规定的位置的作业；及通过向学习完成的所述机器学习模型输入所述状态变量来输出所述移动对象物品的步骤。据此，能够在通过移动机械手具有的机械手保持多个对象物品而移动到规定的位置的作业中更适当地决定在当前的时间点用于移动到规定的位置的最佳的移动对象物品。
根据本发明，能够通过移动机械手来适当地决定在当前的时间点用于移动到规定的位置的最佳的移动对象物品。
附图说明
本发明的实施方式的特征、优点、技术及工业意义通过参照附图如下来描述，其中相同的数字表示相同的元件，其中：
图1是应用本实施方式的运算装置的移动机械手的外观立体图。
图2是表示移动机械手的控制结构的框图。
图3是表示运算装置的结构的框图。
图4是对机器学习模型的状态变量进行说明的示意图。
图5是表示优选和移动机械手的特定部位与对象物品的相对位置一起包含于机器学习模型的状态变量中的变量的示意图。
图6是表示优选和移动机械手的特定部位与对象物品的相对位置一起包含于机器学习模型的状态变量中的变量的示意图。
图7是表示优选和移动机械手的特定部位与对象物品的相对位置一起包含于机器学习模型的状态变量中的变量的示意图。
图8是具体地说明通过监督学习来使未学习NN学习整理作业的方法的示意图。
图9是表示学习完成NN的输入、输出的图像的示意图。
图10是表示运算装置的处理的流程的流程图。
图11是表示移动机械手中执行的处理的流程的流程图。
具体实施方式
以下，通过发明的实施方式来对本发明进行说明，但是并不是将要求保护的范围的发明限定于以下的实施方式。并且，实施方式中说明的结构的全部作为用于解决课题的手段不一定是必须的。为了说明的明确化，以下的记载以及附图适当进行省略以及简化。在各附图中，对于相同的要素标注相同的标号，根据需要而省略重复说明。
本实施方式的运算装置在例如家庭内或工厂内进行用于对移动机械手的动作进行控制的运算，该移动机械手进行通过机械手使多个对象物品向规定的位置移动的作业。在此，移动机械手是具备台车等的能够进行移动的结构。并且，通过机械手使多个对象物品向规定的位置移动的作业例如为整理作业。
首先，对应用本实施方式的运算装置的移动机械手的结构进行说明。
图1是应用本实施方式的运算装置的移动机械手100的外观立体图。在图中，xy平面是移动机械手100的行驶面，z轴正方向表示天顶方向。如图1所示，移动机械手100大致分为由作为用于在行驶面上移动的移动机构的台车部110、主体部120和构成机械手150的机器人臂130以及机器人手140构成。
台车部110在圆筒形状的壳体内支承有分别在行驶面上着地的两个驱动轮111和一个脚轮112。两个驱动轮111配设成彼此旋转轴芯一致。通过未图示的电动机来独立地旋转驱动各个驱动轮111。脚轮112是从动轮，设置成从台车部110沿铅垂方向延伸的回转轴从车轮的旋转轴离开并对车轮进行轴支承，以依照台车部110的移动方向的方式追随。例如，若两个驱动轮111沿相同的方向以相同的转速旋转，则移动机械手100直线前进，若两个驱动轮111沿相反的方向以相同的转速旋转，则移动机械手100绕着通过台车部110的两个驱动轮111的中央的铅垂轴回转。
主体部120对机器人臂130进行支承，并且具有构成用户界面的一部分的显示面板123。显示面板123为例如液晶面板，显示角色的面部或者提示与移动机械手100有关的信息。显示面板123在显示面上具有触摸面板，能够接受来自用户的指示输入。
主体部120在能够远望包括机械手150的动作范围在内的前方的环境空间的位置具有环境相机121。环境相机121包括例如作为CMOS图像传感器的摄像元件和图像数据生成部，对前方的环境空间进行摄像而输出生成的图像数据。并且，在主体部120中设有控制单元190。控制单元190包括后述的控制部和存储器等。
支承于主体部120的机器人臂130具有多个连杆，例如图示那样具有两个连杆，通过驱动在将各连杆以能够转动的方式连结的关节部131(腕关节、肘关节、肩关节等)设置的促动器而能够获得各种各样的姿势。在各关节部131设有减速机构。在机器人臂130的前端部连接有机器人手140，机器人手140的整体能够通过促动器的驱动而绕着与机器人臂130的前端连杆的延伸方向平行的回转轴回转。机器人手140具备在前端部设置的由促动器驱动的第一指部140a和第二指部140b。第一指部140a和第二指部140b如用虚线表示的那样分别以彼此接近的方式进行动作，通过夹持对象物来实现保持。需要说明的是，由机器人手140进行的对象物品的保持并不限于通过机器人手140的第一指部140a和第二指部140b来把持对象物品的情况，还包括在机器人手140的前端设有吸附机构时通过该吸附机构来进行吸附的情况等。并且，由机器人手140进行的对象物品的保持还包括利用机器人手140并用把持、吸附来进行对象物品的保持的情况。在机器人手140配设有手部相机141。手部相机141包括例如作为CMOS图像传感器的摄像元件和图像数据生成部，对机器人手140的前方空间进行摄像而输出生成的图像数据。
图2是表示移动机械手100的控制结构的框图。控制部200为例如CPU，储存于主体部120的控制单元190(参照图1)。驱动轮单元210包括用于对驱动轮111(参照图1)进行驱动的驱动电路、电动机，设于台车部110(参照图1)。
传感器单元220包括在移动中检测障碍物或者检测来自外部的接触的各种传感器，各种传感器分散配置于台车部110以及主体部120(参照图1)。控制部200通过向传感器单元220发送控制信号而驱动各种传感器并取得各种传感器的输出。
环境相机121如上述那样用于观察包括机器人臂130以及机器人手140的动作范围在内的前方的环境空间，按照控制部200的摄像指示来执行摄像。环境相机121将生成的图像数据交给控制部200。手部相机141如上述那样用于观察机器人手140的前方空间，按照控制部200的摄像指示来执行摄像。手部相机141将生成的图像数据交给控制部200。
存储器240是非易失性的存储介质，可使用例如固态驱动器。存储器240除了存储有用于对移动机械手100进行控制的控制程序以外，还存储有用于控制的各种各样的参数值、函数、查找表等。
机器人臂130除了具有使用图1来说明的构造体以外，还具有对各关节部131进行驱动的促动器132、对各关节部131的旋转信息进行检测的旋转传感器134和对各关节部131的操作力(转矩)进行检测的力传感器133。促动器132为例如伺服电动机等。旋转传感器134为例如编码器等。力传感器133为例如对各关节部131的转矩进行检测的转矩传感器等。机器人手140具有对第一指部140a和第二指部140b(参照图1)进行驱动的促动器142、对机器人手140的操作力进行检测的力传感器143。
控制部200通过向驱动轮单元210发送驱动信号来执行驱动轮111的旋转控制。并且，控制部200基于本实施方式的运算装置300的运算结果来对机器人臂130以及机器人手140的动作进行控制。即，控制部200基于本实施方式的运算装置300的运算结果来向机器人臂130的促动器132以及机器人手140的促动器142发送驱动信号。
接着，对本实施方式的运算装置300的结构进行说明。图3是表示运算装置300的结构的框图。如图3所示，运算装置300主要具备取得部310、存储部320和运算部330。
取得部310取得状态变量并交给运算部330。在此，取得部310通过对由环境相机121或手部相机141(参照图2)摄像的作业环境的图像数据进行分析而取得移动机械手100的特定部位与对象物品的相对位置。移动机械手100的特定部位可以是例如重心位置或将机器人手140投影到地面上的位置等通过运算而算出的位置。取得部310包括用于与因特网连接的通信接口。通信接口为例如无线LAN单元。
存储部320为例如硬盘驱动器，存储有学习完成的机器学习模型。在此，机器学习模型为例如神经网络(Neural Net work)。学习完成的机器学习模型(以下记载为“学习完成NN320a”等)是通过输入多个由预先取得的状态变量以及与状态变量对应的判定数据的组合构成的训练数据集来进行学习的。在学习完成NN320a中，关于使机器学习模型学习的具体的方法，后文叙述。存储部320除了存储有学习完成NN320a以外，还存储有运算部330执行的各种软件程序。
运算部330为例如CPU，通过向从存储部320读出的学习完成NN320a输入从取得部310接受的状态变量而输出在当前的时间点应该整理的移动对象物品。
接着，对机器学习模型的状态变量进行说明。需要说明的是，在以下的说明中，也适当参照图3。
图4是对机器学习模型的状态变量进行说明的示意图。在此，在作业环境的地图(map，位置图)E中，对象物品用圆圈表示。机器学习模型的状态变量包括图4中用箭头表示的移动机械手100的特定部位与对象物品(图中用圆圈表示)的相对位置。即，移动机械手100的特定部位P1与对象物品的相对位置是从移动机械手100的特定部位P1到对象物品的矢量。在状态变量包括移动机械手100的特定部位P1与对象物品的相对位置时，可知各个对象物品相对于移动机械手100的特定部位P1的的位置关系。由此，如本实施方式的移动机械手100那样，在由于移动机械手100本身移动而移动机械手100的绝对位置变化的情况下，也能够适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
移动机械手100的特定部位与对象物品的相对位置可以包括对象物品的可保持区域的信息。对象物品的可保持区域的信息通过从由环境相机121或手部相机141摄像的作业环境的图像数据中识别对象物品来取得。即使移动机械手100的特定部位与对象物品的相对位置相同，整理容易度也因对象物品的可保持区域相对于移动机械手100的位置是处于正面侧还是处于背面侧而变化。通过移动机械手100的特定部位P1与对象物品的相对位置包括对象物品的可保持区域的信息，能够更适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
图5是表示优选和移动机械手100的特定部位与对象物品的相对位置一起包含于机器学习模型的状态变量中的变量的示意图。在此，在作业环境的地图E中，对象物品用圆圈表示，障碍物用由斜线包围的区域表示。需要说明的是，障碍物也可以通过由斜线包围的区域中包含的点云信息来表示。机器学习模型的状态变量优选包括图5中用箭头表示的移动机械手100的特定部位P1与障碍物的相对位置。移动机械手100的特定部位P1与障碍物的相对位置是从移动机械手100的特定部位P1到障碍物的点云的每一个的矢量。即使移动机械手100的特定部位P1与对象物品的相对位置相同，整理容易度也根据在移动机械手100与对象物品之间是否存在障碍物而变化。通过这样，能够更适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
移动机械手100的特定部位与对象物品以及障碍物的相对位置可以包括重力方向的信息。即，移动机械手100的特定部位与对象物品以及障碍物的相对位置是三维矢量。在相对于移动机械手100而处于对象物品的跟前的障碍物与该对象物品相比重力方向的长度长的情况下，移动机械手100若不向该对象物品与障碍物相比来到跟前的那样的位置移动，则无法对该对象物品进行保持。另一方面，在相对于移动机械手100而处于对象物品的跟前的障碍物与该对象物品相比重力方向的长度短的情况下，即使障碍物与该对象物品相比处于跟前，若将该对象物品的重力方向上部设为保持位置，则也能够对该对象物品进行保持。通过这样，能够更适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
移动机械手100的特定部位与对象物品的相对位置和移动机械手100的特定部位与障碍物的相对位置优选是在地图上或位图图像上表示的数据。如此，能够统一表达在相邻的空间中存在其他的物体或障碍物的状态或者没有物体的状态，统一考虑它们的位置关系并进行学习，学习精度提高。
图6是表示优选和移动机械手100的特定部位与对象物品的相对位置一起包含于机器学习模型的状态变量中的变量的示意图。在此，在作业环境的地图E中，对象物品用圆圈表示，障碍物用由斜线包围的区域表示。机器学习模型的状态变量优选包括图6中用虚线表示的从移动机械手100到对象物品的路径上的路径长度。在此，从移动机械手100到对象物品的路径上的路径长度通过路径计划来获得。在此，路径计划可以使用RRT(Rapidly-exploring Random Tree：快速遍历随机树)等公知的方法。即使移动机械手100的特定部位P1与对象物品的相对位置相同，整理容易度也根据从移动机械手100到对象物品的路径上的路径长度而变化。通过这样，能够更适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
图7是表示优选和移动机械手100的特定部位与对象物品的相对位置一起包含于机器学习模型的状态变量中的变量的示意图。在此，在作业环境的地图E中，对象物品用圆圈表示，规定的位置即收纳位置用三角标记表示。机器学习模型的状态变量优选包括图7中用虚线表示的从对象物品到与该对象物品对应的收纳位置的路径长度。即使移动机械手100的特定部位P1与对象物品的相对位置相同，整理容易度也根据从对象物品到与该对象物品对应的收纳位置的路径长度而变化。通过这样，能够更适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。需要说明的是，图7中示出向处于距各个对象物品最近的位置的收纳位置进行收纳的情况，但是也可以为按照每个对象物品来决定向收纳位置C1、C2、C3、C4中的哪个位置进行收纳的情况。
需要说明的是，参照图4～图7来说明的状态变量也可以适当组合。
接着，在学习完成NN320a中，对使机器学习模型学习的具体的方法进行说明。需要说明的是，在以下的说明中，关于移动机械手100的控制结构，适当参照图2，关于运算装置300的结构，适当参照图3。
图8是具体地说明通过监督学习来使未学习NN320b学习整理作业的方法的示意图。在此，使学习前的机器学习模型(以下记载为“未学习NN320b”等)学习整理作业的方法设为监督学习。监督学习是在学习对象的数据中预先决定了正解的情况下，提前大量给与由学习对象的数据(输入)和正解(输出)的组合构成的训练数据集来学习输入与输出之间的关系的方法。
如图8所示，将由作为输入的状态变量161和作为输出的判定数据162的组合构成的训练数据集160给与未学习NN320b。在此，状态变量是上述的包括移动机械手100的特定部位与对象物品的相对位置的变量，判定数据162是在当前的时间点应该整理的移动对象物品。训练数据集160预先取得多个。由此，使未学习NN320b学习整理作业中的状态变量161与判定数据162之间的关系。能够通过增加训练数据集160的取得数n来提高学习完成NN320a的判定精度。
图9是表示学习完成NN320a的输入、输出的图像的示意图。如图9所示，学习完成NN320a通过输入作业环境的地图E中的移动机械手100的特定部位P1与对象物品(图中用圆圈表示)的相对位置(图中用实线箭头表示)而输出在当前的时间点应该整理的移动对象物品(图中用黑圆表示)。需要说明的是，学习完成NN320a也可以与在当前的时间点应该整理的移动对象物品一起输出在当前的时间点可以整理的对象物品(图中用双圆圈表示)、在当前的时间点不整理为好的对象物品(图中用叉号表示)。
在当前的时间点应该移动到规定的位置的移动对象物品的输出优选为在地图上或位图图像上表示的移动对象物品相对于移动机械手100的特定部位的相对位置数据。由此，能够统一表述输出，因此能够期待进一步提高机器学习模型的学习性能。并且，在输出在地图上或位图图像上表示的移动对象物品相对于移动机械手100的特定部位的相对位置数据时，不需要重新确定移动对象物品，因此能够期待运算量的削减。
接着，对运算装置300执行的处理的流程进行说明。图10是表示运算装置300的处理的流程的流程图。如图10所示，首先，取得部310通过对由环境相机121等摄像的作业环境的图像数据进行分析而取得包括移动机械手100的特定部位与对象物品的相对位置的状态变量，将状态变量交给运算部330(步骤S1)。接着，运算部330从存储部320读出学习完成NN320a(步骤S2)。然后，向读出的学习完成NN320a输入取得的状态变量(包括移动机械手100的特定部位与对象物品的相对位置)，输出在当前的时间点应该向规定的位置移动的移动对象物品(步骤S3)。然后，结束一系列的处理。
接着，对移动机械手100中执行的处理的流程进行说明。
图11是表示移动机械手100中执行的处理的流程的流程图。如图11所示，首先使用学习完成NN决定从哪个对象物品向规定的位置移动(步骤S101)。该处理是参照图10来说明的运算装置300中的处理。接着，针对决定的移动对象物品，制作保持计划、路径计划(步骤S102)。保持计划、路径计划可以使用公知的技术。
接着步骤S102，判定保持计划、路径计划中是否已求出解(步骤S103)。在步骤S103中判定为保持计划、路径计划中已求出解的情况下，执行决定的移动对象物品的保持、移动(步骤S104)。在步骤S103中判定为保持计划、路径计划中未求出解的情况下，使处理返回步骤S101。
接着步骤S104，判定是否能够将决定的移动对象物品移动到规定的位置(步骤S105)。在步骤S105中判定为无法将决定的移动对象物品移动到规定的位置的情况下，判定决定的移动对象物品是否从原来的位置移动到不希望的位置(步骤S106)。在步骤S106中判定为决定的移动对象物品没有从原来的位置移动到不希望的位置的情况下，使处理返回步骤S101。在步骤S106中判定为决定的移动对象物品从原来的位置移动到了不希望的位置的情况下，将决定的移动对象物品暂时从移动对象中排除(步骤S107)，使处理返回步骤S101。
在步骤S105中判定为能够将决定的移动对象物品收纳到规定的位置的情况下，将暂时排除的对象物品包含于移动对象中(步骤S108)。接着，判定是否将对象物品全部移动到了规定的位置(步骤S109)。在步骤S109中判定为存在对象物品中的未移动到规定的位置的对象物品的情况下，使处理返回步骤S101。在步骤S109中判定为将对象物品全部移动到了规定的位置的情况下，结束处理。
如以上那样，根据运算装置300，在移动机械手本身移动的情况下，也能够适当地决定在当前的时间点用于向规定的位置移动的最佳的移动对象物品。
需要说明的是，本发明并不限于上述实施方式，能够在不脱离宗旨的范围内适当变更。例如，在上述实施方式中，以通过机械手使多个对象物品向规定的位置移动的作业是整理作业的情况为例进行了说明，但是并不限于此。例如，通过机械手使多个对象物品向规定的位置移动的作业也可以是从一处或多处取出物品并在特定的场所排列的那种准备作业。
在上述实施方式中，将运算装置构成为与机器人分体，但是也可以为将运算装置组装于移动机械手中的结构。
作为上述实施方式的运算装置中使用的机器学习模型，可以使用循环神经网络(RNN：Recurrent Neural Network)或序列到序列模型(Sequence-to-Sequence model)等处理时间序列数据的机器学习模型。在上述实施方式中，关于使未学习NN学习的方法，说明了利用监督学习来学习通过机械手使多个对象物品向规定的位置移动的作业的例子，但并不限于此。也可以利用例如强化学习等其他的机器学习的方法来实施通过机械手使多个对象物品向规定的位置移动的作业。
上述实施方式中的运算装置实现的各构成要素也能够通过例如使计算机(一个或多个处理器)执行控制程序来实现。更具体而言，在计算机中，能够向主存储装置(未图示)中载入储存于存储部(未图示)的控制程序，通过在主存储装置中执行该控制程序来实现。并且，各构成要素并不限于利用基于程序的软件来实现，也可以通过硬件、固件以及软件中的任一个组合等来实现。
上述的程序可以使用各种各样的类型的非暂时性的计算机可读介质(non-transitory computer readable medium)来储存并向计算机供给。非暂时性的计算机可读介质包括各种各样的类型的有形存储介质(tangible storage medium)。非暂时性的计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动器)、磁光记录介质(例如磁光盘)、CD-ROM(Read Only Memory：只读存储器)、CD-R、CD-R/W、半导体存储器(例如掩膜ROM、PROM(Programmable ROM：可编程ROM)、EPROM(Erasable PROM：可擦除PROM)、快闪ROM、RAM(Random Access Memory：随机存取存储器))。并且，程序也可以通过各种各样的类型的暂时性的计算机可读介质(transitory computer readable medium)来向计算机供给。暂时性的计算机可读介质的例子包括电信号、光信号以及电磁波。暂时性的计算机可读介质可以经由电线以及光纤等有线通信路径或无线通信路径将程序向计算机供给。
Claims (10)
1.一种运算装置，进行用于对移动机械手的动作进行控制的运算，所述移动机械手进行通过机械手保持多个对象物品而移动到规定的位置的作业，
所述运算装置的特征在于，包括：
存储部，存储有通过输入多个预先取得的训练数据集来进行学习的学习完成的机器学习模型，所述训练数据集由状态变量以及与所述状态变量对应的判定数据的组合构成；及
运算部，通过向从所述存储部读出的所述学习完成的机器学习模型输入所述状态变量来输出在当前的时间点应该移动到规定的位置的移动对象物品，
所述状态变量包括所述移动机械手的特定部位与所述对象物品的相对位置，
与所述状态变量对应的判定数据是所述移动对象物品。
2.根据权利要求1所述的运算装置，其特征在于，
所述状态变量包括所述移动机械手的特定部位与障碍物的相对位置。
3.根据权利要求1或2所述的运算装置，其特征在于，
所述移动机械手的特定部位与所述对象物品的相对位置和所述移动机械手的特定部位与障碍物的相对位置是在地图或位图图像上表示的数据。
4.根据权利要求3所述的运算装置，其特征在于，
所述移动对象物品的输出是在所述地图或位图图像上表示的所述移动对象物品相对于所述移动机械手的特定部位的相对位置数据。
5.根据权利要求1所述的运算装置，其特征在于，
所述状态变量包括在路径计划中获得的从所述移动机械手到所述对象物品的路径上的路径长度。
6.根据权利要求5所述的运算装置，其特征在于，
所述状态变量包括从所述对象物品到与该对象物品对应的规定的位置的路径长度。
7.根据权利要求2所述的运算装置，其特征在于，
所述移动机械手的特定部位与所述对象物品以及所述障碍物的相对位置包括重力方向的信息。
8.根据权利要求1所述的运算装置，其特征在于，
所述移动机械手的特定部位与所述对象物品的相对位置包括该对象物品的可保持区域的信息。
9.一种机器学习方法，是用于使计算机如下发挥功能的机器学习模型的机器学习方法：在通过移动机械手所具有的机械手保持多个对象物品而移动到规定的位置的作业中输出在当前的时间点应该移动到规定的位置的移动对象物品，
其特征在于，包括：
输入多个训练数据集而使所述机器学习模型学习，所述训练数据集由状态变量以及作为判定数据的与所述状态变量对应的在当前的时间点应该移动到规定的位置的移动对象物品的组合构成，所述状态变量包括所述移动机械手的特定部位与所述对象物品的相对位置。
10.一种非暂时性存储介质，储存能够由一个或多个处理器执行且使所述一个或多个处理器执行以下的功能的命令，所述功能包括：
预先取得训练数据集并输入多个所述训练数据集而使机器学习模型学习的步骤，所述训练数据集由状态变量以及作为判定数据的与所述状态变量对应的在当前的时间点应该移动到规定的位置的移动对象物品的组合构成，所述状态变量包括移动机械手的特定部位与对象物品的相对位置，所述移动机械手进行通过机械手保持多个所述对象物品而移动到规定的位置的作业；及
通过向学习完成的所述机器学习模型输入所述状态变量来输出所述移动对象物品的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-127781 | 2019-07-09 | ||
| JP2019127781A JP7207207B2 (ja) | 2019-07-09 | 2019-07-09 | 演算装置、機械学習方法及び制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112207813A true CN112207813A (zh) | 2021-01-12 |
| CN112207813B CN112207813B (zh) | 2024-05-14 |
Family
ID=74059360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010498466.4A Active CN112207813B (zh) | 2019-07-09 | 2020-06-04 | 运算装置、机器学习方法以及非暂时性存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11633852B2 (zh) |
| JP (1) | JP7207207B2 (zh) |
| CN (1) | CN112207813B (zh) |
| DE (1) | DE102020114583B4 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6881268B2 (ja) * | 2017-12-05 | 2021-06-02 | トヨタ自動車株式会社 | 把持装置、把持判定方法および把持判定プログラム |
| US20220188625A1 (en) * | 2020-12-11 | 2022-06-16 | Poyen Hsieh | Method and computer implemented system for generating layout plan using neural network |
| DE102021202759A1 (de) | 2021-03-22 | 2022-09-22 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Trainieren eines neuronalen Netzwerks zum Steuern eines Roboters |
| US20230271319A1 (en) * | 2022-02-28 | 2023-08-31 | Denso Wave Incorporated | Method of generating a learning model for transferring fluid from one container to another by controlling robot arm based on a machine-learned learning model, and a method and system for weighing the fluid |
| DE102022205011A1 (de) | 2022-05-19 | 2023-11-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bestimmen eines Moments für einen Betrieb eines Roboters unter Verwendung eines Modells und Verfahren zum Einlernen des Modells |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104308849A (zh) * | 2009-05-22 | 2015-01-28 | 丰田自动车东日本株式会社 | 作业辅助机器人系统 |
| CN108217036A (zh) * | 2017-11-07 | 2018-06-29 | 北京翰宁智能科技有限责任公司 | 一种移动搬运机器人基于指令卡牌的动作命令学习方法 |
| CN108393908A (zh) * | 2017-02-06 | 2018-08-14 | 发那科株式会社 | 改善工件取出动作的工件取出装置以及工件取出方法 |
| US20180284760A1 (en) * | 2017-03-28 | 2018-10-04 | Amazon Technologies, Inc. | Method and system for tele-operated inventory management system |
| CN109382825A (zh) * | 2017-08-08 | 2019-02-26 | 发那科株式会社 | 控制装置以及学习装置 |
| CN109816725A (zh) * | 2019-01-17 | 2019-05-28 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3956063B2 (ja) * | 1997-03-07 | 2007-08-08 | 株式会社安川電機 | 移動物体のハンドリング方法 |
| JP4303411B2 (ja) | 2000-10-06 | 2009-07-29 | セイコーインスツル株式会社 | トラッキング方法、及びトラッキングシステム |
| JP4100239B2 (ja) | 2003-04-22 | 2008-06-11 | 松下電工株式会社 | 障害物検出装置と同装置を用いた自律移動ロボット、障害物検出方法、及び障害物検出プログラム |
| JP4066922B2 (ja) | 2003-09-19 | 2008-03-26 | 株式会社デンソーウェーブ | ロボットの停止箇所決定方法及びロボットの停止箇所決定装置 |
| JP4646943B2 (ja) | 2004-07-13 | 2011-03-09 | パナソニック株式会社 | ロボット |
| US8140188B2 (en) | 2008-02-18 | 2012-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Robotic system and method for observing, learning, and supporting human activities |
| WO2010045272A1 (en) | 2008-10-14 | 2010-04-22 | Honda Motor Co., Ltd. | Smoothed sarsa: reinforcement learning for robot delivery tasks |
| EP2216145B1 (en) * | 2009-02-06 | 2011-06-08 | Honda Research Institute Europe GmbH | Learning and use of schemata in robotic devices |
| CN103517789B (zh) * | 2011-05-12 | 2015-11-25 | 株式会社Ihi | 运动预测控制装置和方法 |
| JP5908350B2 (ja) * | 2012-06-21 | 2016-04-26 | 本田技研工業株式会社 | 行動制御システム |
| US9384443B2 (en) | 2013-06-14 | 2016-07-05 | Brain Corporation | Robotic training apparatus and methods |
| US9579789B2 (en) * | 2013-09-27 | 2017-02-28 | Brain Corporation | Apparatus and methods for training of robotic control arbitration |
| US9630317B2 (en) * | 2014-04-03 | 2017-04-25 | Brain Corporation | Learning apparatus and methods for control of robotic devices via spoofing |
| US9272417B2 (en) | 2014-07-16 | 2016-03-01 | Google Inc. | Real-time determination of object metrics for trajectory planning |
| JP2016101612A (ja) | 2014-11-27 | 2016-06-02 | トヨタ自動車株式会社 | 物品搬送用ロボット |
| US9475198B2 (en) | 2014-12-22 | 2016-10-25 | Qualcomm Incorporated | System and method for dynamic robot manipulator selection |
| JP6240689B2 (ja) | 2015-07-31 | 2017-11-29 | ファナック株式会社 | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 |
| JP6514166B2 (ja) * | 2016-09-16 | 2019-05-15 | ファナック株式会社 | ロボットの動作プログラムを学習する機械学習装置，ロボットシステムおよび機械学習方法 |
| JP6514171B2 (ja) | 2016-09-27 | 2019-05-15 | ファナック株式会社 | 最適な物品把持経路を学習する機械学習装置、及び機械学習方法 |
| JP6490132B2 (ja) | 2017-03-31 | 2019-03-27 | ファナック株式会社 | ロボットの制御装置、機械学習装置及び機械学習方法 |
| JP6951659B2 (ja) * | 2017-05-09 | 2021-10-20 | オムロン株式会社 | タスク実行システム、タスク実行方法、並びにその学習装置及び学習方法 |
| US11465279B2 (en) * | 2018-11-29 | 2022-10-11 | X Development Llc | Robot base position planning |
-
2019
- 2019-07-09 JP JP2019127781A patent/JP7207207B2/ja active Active
-
2020
- 2020-06-02 DE DE102020114583.7A patent/DE102020114583B4/de active Active
- 2020-06-04 CN CN202010498466.4A patent/CN112207813B/zh active Active
- 2020-06-10 US US16/897,567 patent/US11633852B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104308849A (zh) * | 2009-05-22 | 2015-01-28 | 丰田自动车东日本株式会社 | 作业辅助机器人系统 |
| CN108393908A (zh) * | 2017-02-06 | 2018-08-14 | 发那科株式会社 | 改善工件取出动作的工件取出装置以及工件取出方法 |
| US20180284760A1 (en) * | 2017-03-28 | 2018-10-04 | Amazon Technologies, Inc. | Method and system for tele-operated inventory management system |
| CN109382825A (zh) * | 2017-08-08 | 2019-02-26 | 发那科株式会社 | 控制装置以及学习装置 |
| CN108217036A (zh) * | 2017-11-07 | 2018-06-29 | 北京翰宁智能科技有限责任公司 | 一种移动搬运机器人基于指令卡牌的动作命令学习方法 |
| CN109816725A (zh) * | 2019-01-17 | 2019-05-28 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102020114583B4 (de) | 2022-03-17 |
| US20210008717A1 (en) | 2021-01-14 |
| CN112207813B (zh) | 2024-05-14 |
| US11633852B2 (en) | 2023-04-25 |
| JP7207207B2 (ja) | 2023-01-18 |
| DE102020114583A1 (de) | 2021-01-14 |
| JP2021011001A (ja) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112207813B (zh) | 运算装置、机器学习方法以及非暂时性存储介质 | |
| Rolley-Parnell et al. | Bi-manual articulated robot teleoperation using an external RGB-D range sensor | |
| CN108235696B (zh) | 机器人控制方法和设备 | |
| US20200302207A1 (en) | Detecting Boxes | |
| JP7044047B2 (ja) | ロボット | |
| CN111483750A (zh) | 机器人系统的控制方法以及控制装置 | |
| CN109278063A (zh) | 机器人装置、控制方法、组装方法和记录介质 | |
| CN109641706B (zh) | 拣货方法、系统及其应用的获持与放置系统、机器人 | |
| CN111975763B (zh) | 算术设备、控制程序、机器学习器、抓握装置和控制方法 | |
| WO2019134673A1 (zh) | 包裹识别装置和包裹分拣装置 | |
| JP7374867B2 (ja) | 制御システム、ローカルコントローラ及び制御方法 | |
| CN111470244B (zh) | 机器人系统的控制方法以及控制装置 | |
| Luo et al. | Robotic conveyor tracking with dynamic object fetching for industrial automation | |
| CN114888768A (zh) | 一种基于多传感器融合的移动双工业机器人协同抓取系统及方法 | |
| Gupta et al. | Extrinsic dexterous manipulation with a direct-drive hand: A case study | |
| IT202100001268A1 (it) | Sistema e metodo di configurazione e programmazione di una cella robotica | |
| Xu et al. | A fast and straightforward hand-eye calibration method using stereo camera | |
| JPWO2020157875A1 (ja) | 作業座標作成装置 | |
| JP7447568B2 (ja) | シミュレーション装置およびプログラム | |
| US20230419546A1 (en) | Online camera calibration for a mobile robot | |
| Huang et al. | Development and Design of AIVBOT for Intelligent Manufacturing System Education Factory | |
| Erich et al. | Determining the Configuration of a Manipulator using Minimal Amount of Passive Fiducial Markers | |
| JP7302672B2 (ja) | ロボットシステム、コントローラ及び制御方法 | |
| Gallage et al. | Codesign of edge intelligence and automated guided vehicle control | |
| US20230418297A1 (en) | Ground clutter avoidance for a mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |