CN110268358A - 位置控制装置及位置控制方法 - Google Patents

位置控制装置及位置控制方法 Download PDF

Info

Publication number
CN110268358A
CN110268358A CN201780085555.2A CN201780085555A CN110268358A CN 110268358 A CN110268358 A CN 110268358A CN 201780085555 A CN201780085555 A CN 201780085555A CN 110268358 A CN110268358 A CN 110268358A
Authority
CN
China
Prior art keywords
control
objects
amount
connector
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780085555.2A
Other languages
English (en)
Other versions
CN110268358B (zh
Inventor
球山利贞
三浦卫
松本涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110268358A publication Critical patent/CN110268358A/zh
Application granted granted Critical
Publication of CN110268358B publication Critical patent/CN110268358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/20—Control of position or direction using feedback using a digital comparing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

具有：拍摄部(201)，其对两个物体存在的图像进行拍摄；控制参数生成部(202)，其将拍摄到的两个物体的图像的信息输入至神经网络的输入层，将用于对两个物体的位置关系进行控制的位置的控制量，作为神经网络的输出层而输出；控制部(203)，其使用输出的位置的控制量而控制用于对两个物体的位置关系进行控制的电流或者电压；以及驱动部(204)，其使用用于对两个物体的位置关系进行控制的电流或者电压，使两个物体的位置关系的一方的位置移动，控制参数生成部(202)构成为从多个神经网络选择一个，因此具有下述效果，即，即使存在各个物体的个体差或者两个物体的位置关系的误差，也能够更高精度地进行对位。

Description

位置控制装置及位置控制方法
技术领域
本发明涉及位置控制装置及位置控制方法。
背景技术
在构建通过机器人臂进行组装动作的生产系统时，通常进行通过被称为示教的人的手实施的示教作业。但是，在该示教中，机器人仅针对所存储的位置反复进行动作，因此在产生由制作、安装引起的误差的情况下，有时无法应对。因此，如果能够开发出对该个体误差进行吸收这样的位置校正技术，则能够期待生产率的提高，并且机器人活跃的情况也变大。
在现有的技术中，存在使用照相机图像进行直至将要进行连接器插入作业前为止的位置校正的技术(专利文献1)。另外，如果使用力学传感器、立体照相机等多个设备，则能够对与组装(插入、工件保持等)相关的位置的误差进行吸收。但是，为了决定位置校正量，需要明确地根据图像信息对如该参考文献这样进行了抓持的连接器的中心坐标、插入侧的连接器的中心坐标等的量进行计算。该计算依赖于连接器的形状，必须针对每个使用连接器由设计者进行设定。另外，3维信息如果能够从距离照相机等取得，则该计算也是比较容易的，但为了从2维图像信息取得，需要针对每个连接器对图像处理算法进行开发，因此花费大量的设计成本。
专利文献1：WO98－017444号公报
发明内容
即，存在下述课题：仅通过来自单镜头的照相机的信息难以对用于组装的位置进行控制。
本发明就是为了解决上述的课题而提出的，目的在于仅通过单镜头照相机而进行对位。
本发明所涉及的位置控制装置的特征在于，具有：拍摄部，其对两个物体存在的图像进行拍摄；以及控制参数生成部，其将拍摄到的两个物体存在的图像的信息输入至神经网络的输入层，将用于对拍摄到的两个物体的位置关系进行控制的位置的控制量，作为神经网络的输出层而输出。
发明的效果
根据本发明，取得能够仅通过单镜头照相机而进行对位这样的效果。
附图说明
图1是实施方式1中的配置有机器人臂100和公侧连接器110、母侧连接器120的图。
图2是实施方式1中的位置控制装置的功能结构图。
图3是实施方式1中的位置控制装置的硬件结构图。
图4是实施方式1中的位置控制装置的位置控制中的流程图。
图5是表示实施方式1中的单镜头照相机102拍摄到的插入开始位置、在其周边附近的照相机图像和控制量的图例。
图6是表示实施方式1中的神经网络和神经网络的学习规则的例子的图。
图7是在实施方式1中的神经网络中，使用多个网络的流程图。
图8是实施方式2中的位置控制装置的功能结构图。
图9是实施方式2中的位置控制装置的硬件结构图。
图10是表示实施方式2中的公侧连接器110和母侧连接器120的嵌合的试行的情况的图。
图11是实施方式2中的位置控制装置的路径学习中的流程图。
图12是实施方式3中的位置控制装置的路径学习中的流程图。
图13是表示实施方式3中的神经网络和神经网络的学习规则的例子的图。
具体实施方式
实施方式1.
下面，对本发明的实施方式进行说明。
在实施方式1中，对学习各连接器的插入位置、在生产线中进行组装的机器人臂和其位置控制方法进行说明。
对结构进行说明。图1是实施方式1中的配置有机器人臂100和公侧连接器110、母侧连接器120的图。在机器人臂100中具有对公侧连接器110进行抓持的抓持部101，在可观察该抓持部的位置将单镜头照相机102安装于机器人臂100。该单镜头照相机102位置被设置为，在机器人臂100的前端的抓持部101抓持着公侧连接器110时，被抓持的公侧连接器110的前端部和被插入侧的母侧连接器120可见。
图2是实施方式1中的位置控制装置的功能结构图。
在图2中，由下述部分构成：拍摄部201，其是图1中的单镜头照相机102的功能，对图像进行拍摄；控制参数生成部202，其使用拍摄到的图像而生成机器人臂100的位置的控制量；控制部203，其使用位置的控制量而针对机器人臂100的驱动部204对电流·电压值进行控制；以及驱动部204，其基于从控制部203输出的电流·电压值而对机器人臂100的位置进行变更。
控制参数生成部202如果从是单镜头照相机102的功能、对图像进行拍摄的拍摄部201取得图像，则决定与机器人臂100的位置(X，Y，Z，Ax，Ay，Az)的值对应的控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)，向控制部203输出控制量(X、Y、Z为机器人臂的位置，Ax、Ay、Az为机器人臂100的姿态角度)。
控制部203基于与接收到的机器人臂100的位置(X，Y，Z，Ax，Ay，Az)的值对应的控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)，决定针对构成驱动部204的各设备的电流·电压值并进行控制。
驱动部204通过从控制部203接收到的针对各设备的电流·电压值而进行动作，由此机器人臂100移动至(X+ΔX，Y+ΔY，Z+ΔZ，Ax+ΔAx，Ay+ΔAy，Az+ΔAz)的位置。
图3是实施方式1中的位置控制装置的硬件结构图。
单镜头照相机102经由输入输出接口301而与处理器302、存储器303可通信地连接，无论是有线还是无线均可。由输入输出接口301、处理器302、存储器303构成图2中的控制参数生成部202的功能。输入输出接口301还与控制部203所对应的控制电路304可通信地连接而无论是有线还是无线。控制电路304还与电动机305电连接。电动机305与图2中的驱动部204相对应，构成为用于对各设备的位置进行控制的部件。此外，在本实施方式中，作为与驱动部204相对应的硬件的方式而设为电动机305，但只要是能够对位置进行控制的硬件即可。因此，在单镜头照相机201和输入输出接口301间、输入输出接口301和控制电路间304间，可以分体地构成。
接下来，对动作进行说明。
图4是实施方式1中的位置控制装置的位置控制中的流程图。
首先，在步骤S101中，机器人臂100的抓持部101对公侧连接器110进行抓持。该公侧连接器110的位置、姿态在图2的控制部203侧被事先登记，基于在预先控制部203侧登记的控制程序而进行动作。
接下来，在步骤S102中，将机器人臂100接近至母侧连接器120的插入位置附近。该母侧连接器110的大致的位置、姿态，在图2的控制部203侧被事先登记，基于在预先控制部203侧登记的控制程序，使公侧连接器110的位置进行动作。
接下来，在步骤S103中，控制参数生成部202针对单镜头照相机102的拍摄部201，指示对图像进行拍摄，单镜头照相机103对反映出抓持部101所抓持的公侧连接器110和成为插入目标的母侧连接器120这两者的图像进行拍摄。
接下来，在步骤S104中，控制参数生成部202从拍摄部201取得图像，决定控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)。关于该控制量的决定，控制参数生成部202将图3的处理器302、存储器303作为硬件使用，并且使用神经网络对控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)进行计算。使用神经网络的控制量的计算方法在后面记述。
接下来，在步骤S105中，控制部203取得由控制参数生成部202输出的控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)，并且对预先决定的阈值和控制量的全部成分进行比较。如果控制量的全部成分小于或等于阈值，则向步骤S107进入，控制部203对驱动部204进行控制，以使得将公侧连接器110向母侧连接器120插入。
如果控制量的任意的成分大于阈值，则在步骤S106中，控制部203使用由控制参数生成部202输出的控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)而对驱动部204进行控制，向步骤S103返回。
接下来对图4的步骤S104中的使用神经网络的控制量的计算方法进行说明。
在进行使用神经网络的控制量的计算前，作为事前准备，为了使得能够通过神经网络对从输入图像至嵌合成功为止的移动量进行计算，事先汇集图像和所需的移动量的组(set)。例如，针对位置已知的嵌合状态的公侧连接器110和母侧连接器120，通过机器人臂100的抓持部101对公侧连接器110进行抓持。而且，一边在已知的拉出方向移动抓持部101、一边移动至插入开始位置，并且通过单镜头照相机102取得多张图像。另外，不仅是将插入开始位置作为控制量(0，0，0，0，0，0)而从嵌合状态至插入开始为止的移动量的移动量，还取得其周边的移动量，即与控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)相对应的图像。
图5是表示实施方式1中的单镜头照相机102拍摄到的插入开始位置、在其周边附近的照相机图像和控制量的图例。
而且，使用从嵌合状态至插入开始位置为止的移动量和由单镜头照相机102中的插入开始位置及周边的位置的图像构成的多个组，基于一般性的神经网络的学习规则(例如：概率的梯度法)进行学习。
在神经网络中存在CNN、RNN等各种方式，但本发明不依赖于其方式，能够使用任意的方式。
图6是表示实施方式1中的神经网络和神经网络的学习规则的例子的图。
向输入层输入从单镜头照相机102得到的图像(例如各像素的亮度、色差的值)，输出层将控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)输出。
在神经网络的学习过程中，使从输入的图像经由中间层而得到的输出层的输出值与在图像组中存储的控制量近似，因此进行使中间层的参数优化。作为其近似方法而存在概率的梯度法等。
因此，如图5所示，不仅是从嵌合状态至插入开始为止的移动量的移动量，还取得与其周边的移动相对应的图像而进行学习，由此能够进行更准确的学习。
另外，在图5中，示出公侧连接器110相对于单镜头照相机102而位置固定，仅母侧连接器120的位置变化的情况，但实际上，机器人臂100的抓持部101并非在准确的位置处对公侧连接器110进行抓持，由于个体差等，还存在公侧连接器110的位置偏离的情况。因此，在该学习的过程中取得公侧连接器110从准确的位置偏离的情况下的插入开始位置、其附近的位置的多个控制量和图像的组而进行学习，由此进行能够应对公侧连接器110和母侧连接器120这两者的个体差的学习。
但是，在这里需要注意的是，控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)是除以从拍摄的时刻的嵌合状态位置至插入开始位置为止的移动量而计算的，因此关于从插入开始位置至嵌合状态位置为止的移动量，由于在图4的步骤S107中使用，因此无需另行存储。另外，上述坐标作为单镜头照相机的坐标系而求出，因此控制部203需要将单镜头照相机的坐标系变换为机器人臂100整体的坐标系不同的情况，然后对机器人臂100进行控制。
在该实施例中，将单镜头照相机固定于机器人臂100，其原因在于，设置有母侧连接器120的坐标系和单镜头照相机102的坐标系不同。因此，如果单镜头照相机102是与母侧连接器120的位置相同的坐标系，则无需从单镜头照相机102的坐标系向机器人臂100的坐标系的变换。
接下来，对图4的动作的详细内容和动作例进行说明，
在步骤S101中，机器人臂100为了对公侧连接器110进行抓持，按照事先登记的动作那样对公侧连接器110进行抓持，在步骤S102中，母侧连接器120大致向上移动。
此时，被抓持的公侧连接器110的要被抓持前的位置不一定始终恒定。由于对该公侧连接器110的位置进行设置的机械的微小微笑的动作偏差等，有可能始终产生微小的误差。同样地母侧连接器120也有可能具有某种误差。
因此，在步骤S103中，在如图5所示通过附属于机器人臂100的单镜头照相机102的拍摄部201拍摄到的图像中，取得反映出公侧连接器110和母侧连接器120这两者的图像变得重要。单镜头照相机102相对于机器人臂100的位置始终固定，因此公侧连接器110和母侧连接器120的相对性的位置信息反映于该图像。
在步骤S104中，通过具有事先学习了该相对性的位置信息的图6所示这样的神经网络的控制参数生成部202对控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)进行计算。但是，根据能否学习，有时控制参数生成部202输出的控制量无法至插入开始位置为止进行动作。在该情况下，有时通过将步骤S103～S106的循环反复多次，从而控制参数生成部202反复计算，以使得小于或等于步骤S105所示的阈值，控制部203和驱动部204进行控制而对机器人臂100的位置进行控制。
S105所示的阈值是根据嵌合的公侧连接器110和母侧连接器120的要求精度而决定的。例如，在与连接器的嵌合松弛，作为原本连接器的特性而无需如此精度的情况下，能够将阈值设定得大。另外在相反的情况下将阈值设定得小。通常来说在制造工序的情况下，大多对制作所能够容许的误差进行规定，因此也能够使用该值。
另外，根据能否学习，如果设想出控制参数生成部202输出的控制量无法至插入开始位置为止进行动作的情况，则也可以将插入开始位置进行多个位置设定。如果在没有充分地得到公侧连接器110和母侧连接器120的距离的情况下设定插入开始位置，则在进行插入开始前公侧连接器110和母侧连接器120抵接，存在任意者损坏的风险。在该情况下，例如将公侧连接器110和母侧连接器120的间隙最初设为5mm，然后设为20mm，然后设为10mm，可以与图4中的步骤S103～步骤S106之间的循环的次数相应地设定插入开始位置。
此外，在本实施方式中，使用连接器而进行了说明，但该技术的应用并不限定于连接器的嵌合。例如在基板载置IC的情况下也能够应用，特别是在将脚的尺寸误差大的电容器等插入至基板的孔时，如果使用相同的方法，则也会取得效果。
另外，并不一定限定于向基板的插入，也能够应用于根据图像和控制量的关系而求出控制量的位置控制整体。在本发明中，使用神经网络而对图像和控制量的关系进行学习，由此具有下述优点，即，能够对在进行物体和物体的对位时的各自的个体差进行吸收。
因此，在实施方式1中，具有：拍摄部201，其对两个物体存在的图像进行拍摄；控制参数生成部202，其将拍摄到的两个物体的图像的信息输入至神经网络的输入层，将用于对两个物体的位置关系进行控制的位置的控制量，作为神经网络的输出层而输出；控制部203，其使用输出的位置的控制量而对用于控制两个物体的位置关系的电流或者电压进行控制；以及驱动部204，其使用用于对两个物体的位置关系进行控制的电流或者电压，使两个物体的位置关系的一方的位置移动，因此具有下述效果，即，即使存在各个物体的个体差或者两个物体的位置关系的误差，也能够仅通过单镜头照相机进行对位。
以上，对使用一个神经网络的实施例进行了说明，但根据需要有时使用多个。其原因在于，在如以上这样将输入设为图像、将输出设为数值的情况下，在该数值的近似精度存在极限，根据状况而产生百分之几左右的误差。在从图4的步骤2的插入开始附近的位置起至插入开始位置为止的量中，步骤S105的判定始终成为No，有时动作没有完成。在上述这样的情况下，如图7这样使用多个网络。
图7是在实施方式1中的神经网络中，使用多个网络的流程图。示出了图4的步骤S104的详细步骤。多个参数包含于图2的控制参数生成部。
在步骤S701中，控制参数生成部202基于输入的图像对使用哪个网络进行选择。
在循环次数为第1次或者得到的控制量大于或等于25mm的情况下，对神经网络1进行选择而进入至步骤S702。另外，在循环次数为第2次及其以后所得到的控制量大于或等于5mm而小于25mm的情况下，对神经网络2进行选择而进入至步骤S703。并且在循环次数为第2次及其以后所得到的控制量小于5mm的情况下对神经网络3进行选择而进入至步骤S704。使用在步骤S702～步骤S704中选择出的神经网络对控制量进行计算。
例如，各神经网络与公侧连接器110和母侧连接器120的距离或者控制量相应地进行学习，图中的神经网络3将误差为±1mm、±1度的范围内的学习数据、神经网络2将±1～±10mm、±1～±5度的范围的学习数据设为阶段性地进行学习的数据的范围。在这里，不使在各神经网络中使用的图像的范围重叠是有效的。
另外，在该图7中示出了3个例子，但网络的数量并没有特别限制。在使用如上所述的方式的情况下，需要将决定是使用哪个网络的步骤S701的判别功能作为“网络选择开关”进行准备。
该网络选择开关也能够由神经网络构成。在该情况下，向输入层的输入图像、输出层的输出成为网络编号。图像数据使用在全部网络中使用的图像、网络编号的配对。
此外，关于使用多个神经网络的例子也使用连接器而进行了说明，但该技术的应用并不限于连接器的嵌合。例如在将IC载置于基板的情况下也能够应用，特别是在将脚的尺寸误差大的电容器等插入至基板的孔时，如果使用相同的方法，则也会取得效果。
另外，关于使用多个神经网络的例子，并不一定限于向基板的插入，能够利用于根据图像和控制量的关系而求出控制量的位置控制整体。在本发明中，使用神经网络而学习图像和控制量的关系，由此具有在进行物体和物体的对位时能够对各自的个体差进行吸收这样的优点，能够更高精度地计算控制量。
因此，具有：拍摄部201，其对两个物体存在的图像进行拍摄；控制参数生成部202，其将拍摄到的两个物体的图像的信息输入至神经网络的输入层，将用于对两个物体的位置关系进行控制的位置的控制量，作为神经网络的输出层而输出；控制部203，其使用被输出的位置的控制量而控制用于对两个物体的位置关系进行控制的电流或者电压；以及驱动部204，其使用用于对两个物体的位置关系进行控制的电流或者电压，使两个物体的位置关系的一方的位置移动，控制参数生成部202构成为从多个神经网络选择一个，因此具有下述效果，即，即使存在各个物体的个体差或者两个物体的位置关系的误差，也能够更高精度地进行对位。
实施方式2.
在实施方式1中，针对位置已知的嵌合状态的公侧连接器110和母侧连接器120，通过机器人臂100的抓持部101对公侧连接器110进行抓持。而且，一边在已知的拉出方向上移动抓持部101、一边移动至插入开始位置，并且通过单镜头照相机102取得多张图像。在实施方式2中，对公侧连接器110和母侧连接器120的嵌合位置未知的情况进行说明。
作为机器人自身进行学习、获得适当的行动的方法的先行研究，研究出了被称为强化学习的方法。在该方法中，机器人以反复试验地方式进行各种动作，一边对得到良好的结果的行动进行存储、一边作为结果而对行动进行优化，但为了行动的优化而需要大量的试行次数。
作为减少该试行次数的方法，通常使用在强化学习中被称为对策开启(onpolicy)的框架。但是，在将该框架应用于机器人臂的示教时，需要对机器人臂、控制信号进行专门的各种设计，因此是困难的，还没有达到实用化。
在实施方式2中，对下述方式进行说明，即，如实施方式1中这样的机器人以反复试验的方式进行各种动作，减少用于一边对得到良好的结果的行动进行存储、一边作为结果而将行动优化的大量的试行次数。
说明系统结构。没有特别记述的部分与实施方式1相同。
作为整体的硬件结构与实施方式1的图1相同，但不同点在于，在机器人臂100附加有对抓持部101所承受的负荷进行测量的力觉传感器801(在图1中未图示)。
图8示出实施方式2中的位置控制装置的功能结构图。与图2的差异是追加有力觉传感器801、路径决定部802，且路径决定部802由Critic部803、Actor部804、评价部805、路径设定部806构成。
图9是实施方式2中的位置控制装置的硬件结构图。与图3的不同点仅在于，力觉传感器801与输入输出接口301电连接或者可通信地连接。另外，输入输出接口301、处理器302、存储器303构成图8的控制参数生成部202的功能，并且还构成路径决定部802的功能。因此，在力觉传感器801、单镜头照相机201和输入输出接口301之间、输入输出接口301和控制电路间304之间可以分体地构成。
接下来，对图8的详细内容进行说明。
力觉传感器801对机器人臂100的抓持部101所承受的负荷进行测量，例如能够对图1所示的公侧连接器110和母侧连接器120抵接的情况下的力的值进行测量。
关于Critic部803及Actor部804，S3、S4与现有的强化学习这样的Critic部、Actor部相同。
在这里对现有的强化学习方法进行说明。在本实施例中在强化学习中也使用被称为Actor-Critic模型的模型(参考文献：强化学习：R.S.Sutton and A.G.Barto 2000年12月出版)。Actor部804、Critic部803通过拍摄部201、力觉传感器801而取得环境的状态。Actor部804是将使用传感器设备而取得的环境状态I设为输入、向机器人控制器输出控制量A的函数。Critic部803是Actor部804用于相对于输入I而适当地学习输出A的机构，以使得与Actor部804嵌合适当地成功。
下面，关于现有的强化学习方法的方式进行记载。
在强化学习中，对被称为收益R的量进行定义，使得将该R最大化的行动A能够由Actor部804获得。作为一个例子，如果将进行学习的作业设为如实施方式1所示这样的公侧连接器110和母侧连接器120的嵌合，则定义为在嵌合成功时R＝1，在嵌合不成功时R＝0等。行动A本次示出从当前时刻的位置(X，Y，Z，Ax，Ay，Az)起的移动校正量，A＝(dX，dY，dZ，dAx，dAy，dAz)。在这里，X、Y、Z示出将机器人的中心部作为原点的位置坐标，Ax、Ay、Az各自示出了以X轴、Y轴、Z轴为中心的旋转量。移动校正量是从当前的地点起关于与公侧连接器110的嵌合，从用于首先试行的嵌合开始位置起的移动量。环境状态、即试行结果的观测，是根据来自拍摄部201的图像和力觉传感器801的值而得到的。
在强化学习中，将被称为状态价值函数V(I)的函数通过Critic部803进行学习。在这里，在时刻t＝1(例如嵌合试行开始时)时，在状态I(1)下取得行动A(1)，在时刻t＝2(例如第1次的嵌合试行结束后第2次的嵌合开始前)时环境变化为I(2)，设为得到收益量R(2)(初次的嵌合试行结果)。考虑各种更新式，将下述作为一个例子而举出。
V(I)的更新式通过以下方式进行定义。
【式1】
δ＝R(2)+γV(I(2))-V(I(1))
【式2】
在这里，δ为预测误差，α为学习系数且为0～1的正实数，γ为减利率且为0～1的正实数。
Actor部804将输入设为I、将输出设为A(I)，如下面这样对A(I)进行更新。
在δ>0时
【式3】
在δ≤0时
【式4】
在这里，σ表示输出的标准偏差的值，Actor在状态I中，对A(I)加上具有平均0、将分散设为σ2的分布的随机数。即，与试行的结果无关，随机地决定第2次的移动校正量。
此外，将上述的更新式作为一个例子使用，但Actor-Critic模型还存在各种更新式，如果不采用上述而是通常使用的模型，则能够变更。
但是，Actor部804在上述的结构中，在各状态下觉察适当的行动，但如实施方式1这样进行动作是在学习完成的时刻。在学习中从路径设定部806对学习时的推荐行动进行计算并发送，因此在学习时针对控制部203，直接接收来自路径设定部806的移动信号而控制部203对驱动部204进行控制。
即，在Actor-Critic的现有的模型中，定义为在嵌合成功时R＝1，在嵌合不成功时R＝0，因此在嵌合成功时初次进行学习，且直至嵌合成功为止，在试行中使用的移动校正量被随机赋予，因此不进行与试行的失败程度相对应的用于下一次试行的移动校正量的决定。其原因在于，不仅是Actor-Critic的现有的模型，即使使用Q－Learning等其他强化学习模型，也只会对嵌合的成功和失败本身进行评价，因此成为相同的结果。在本发明的本实施方式中，对该失败程度进行评价而对决定用于下一次试行的移动校正量的过程进行说明。
评价部805生成进行各嵌合试行时的评价的函数。
图10是表示实施方式2中的公侧连接器110和母侧连接器120的嵌合的试行的情况的图。
例如如图10(A)这样的图像作为试行的结果而到手。在该试行中，由于连接器的嵌合位置大幅地偏离，因此失败。此时对是与哪个程度成功接近进行测量而数值化，求出表示成功程度的评价值。作为数值化的方法，例如如图10(B)这样，存在在图像中对插入目标侧的连接器表面积(像素数)进行计算的方法。在该方法中，在通过机器人臂100的力觉传感器801检测到公侧连接器110和母侧连接器120的插入失败时，仅将母侧连接器120嵌合面的表面涂敷与其他背景不同的颜色，或者粘贴贴纸，由此来自图像的数据取得和计算变得更简易。另外，在至此为止所述的方法中，是照相机的数量为一台的情况，但也可以将多台照相机并排而拍摄，将使用拍摄到的各自的图像结果进行综合。另外，在连接器表面积以外，取得2维方向(例如X、Y方向)的像素数等，也能够进行相同的评价。
路径设定部806可知作为处理而进行两个步骤。
在第一步骤中，对通过评价部805处理后的评价结果和机器人实施的动作进行学习。在将机器人的移动校正量设为A、将通过评价部805处理后的表示成功程度的评价值设为E时，路径设定部806准备将A设为输入、将E设为输出的函数，进行近似。作为函数，作为一个例子而举出RBF(Radial Basis Function)网络。RBF已知作为能够将各种未知的函数简单地近似的函数。
例如，第k次的输入
【式5】
x^k＝(x_1^k，…，x_i^k，…x_I^k)
针对该式输出f(x)以下述方式进行定义。
【式6】
【式7】
在这里，σ为标准偏差，μ代表RBF的中心。
通过RBF进行学习的数据，不使用单体，而是使用从试行开始时至最新的数据为止的全部。例如，当前，在第N次的试行的情况下，准备了N个数据。需要通过学习而决定上述的W＝(w_1、···w_J)，关于该决定而考虑各种方法，但作为一个例子而举出如下述这样的RBF补全。
【式8】
【式9】
F＝(f(x1)，…，f(xN))
此时
【式10】
W＝Φ-1F
由此，学习完成。
在通过RBF补全而结束近似后，根据最急下降法、PSO(Particle SwamOptimization)等通常的优化方法，通过上述RBF网络而求出最小值。将该最小值作为下一个推荐值而向下一个Actor部804输入。
总之，如果对上述事例具体地说明，则将与失败时的移动校正量相对应的表面积、2维方向的像素数作为评价值而针对每个试行次数以时间序列排列，使用该排列值求出最佳解。也可以更简单地在减少2维方向的像素数的方向上求出以一定比例移动后的移动校正量。
接下来，在图11中示出动作流程。
图11是实施方式2中的位置控制装置的路径学习中的流程图。
首先，在步骤S1101中，机器人臂100的抓持部101对公侧连接器110进行抓持。该公侧连接器110的位置、姿态在图8的控制部203侧被事先登记，基于预先在控制部203侧登记的控制程序而进行动作。
接下来，在步骤S1102中，将机器人臂100接近至母侧连接器120的插入位置附近。该母侧连接器110的大致的位置、姿态，在图8的控制部203侧被事先登记，基于预先在控制部203侧登记的控制程序，使公侧连接器110的位置进行动作。至此为止与实施方式1中的图4的流程图的步骤S101～S102相同。
接下来，在步骤S1103中，路径决定部802针对单镜头照相机102的拍摄部201，指示对图像进行拍摄，单镜头照相机102对反映出抓持部101抓持着的公侧连接器110和成为插入目标的母侧连接器120两者的图像进行拍摄。并且，路径决定部802针对控制部203和单镜头照相机102，指示对当前位置附近处的图像进行拍摄，在基于指示给控制部203的多个移动值而通过驱动部204移动后的位置处，通过单镜头照相机对反映出公侧连接器110和成为插入目标的母侧连接器120两者的图像进行拍摄。
接下来，在步骤S1104中，路径决定部802部的Actor部804，将用于进行嵌合的移动量赋予给控制部203而通过驱动部204使机器人臂100移动，试行公侧连接器110和成为插入目标的母侧连接器120的嵌合。
接下来，在步骤S1105中，在通过驱动部204将机器人臂100移动中连接器彼此接触的情况下，针对移动量的每个单位量将力觉传感器801的值和来自单镜头照相机102的图像由路径决定部802的评价部805和Critic部803进行存储。
而且，在步骤S1106中由评价部805和Critic部803对嵌合是否成功进行确认。
通常，在该时刻嵌合没有成功。因此，在步骤S1108中评价部805通过在图10中说明的方法对成功程度进行评价，将表示相对于对位的成功程度的评价值赋予给路径设定部806。
而且，在步骤S1109中，路径设定部806使用上述的方法进行学习，路径设定部806将下一个推荐值赋予给Actor部804，并且Critic部803对与收益量相应地求出的值进行输出，Actor部804进行接收。在步骤S1110中，Actor部804将由Critic部803输出的与收益量相应地求出的值、和由路径设定部806输出的下一个推荐值进行相加而求出移动校正量。此外，在该步骤中，在仅使用由路径设定部806输出的下一个推荐值就具有充分的效果的情况下，当然无需对由Critic部803输出的与收益量相应地求出的值进行相加。另外，Actor部804为了求出移动校正量，也可以与由Critic部803输出的与收益量相应地求出的值和由路径设定部806输出的下一个推荐值的相加比率进行设定，与相加比率相应地变更。
然后，在步骤S1111中，Actor部804将移动校正量赋予给控制部203，使机器人臂100的抓持部101移动。
然后，再次返回至步骤1103，在通过移动校正量移动后的位置对图像进行拍摄，进行嵌合动作。直至成功为止将其反复进行。
在嵌合成功的情况下，在步骤S1107中，在嵌合成功后，关于从嵌合成功时的步骤S1102至S1106为止的I进行Actor部804及Critic部803的学习。最后，路径决定部802将该学习得到的神经网络的数据赋予给控制参数生成部202，由此能够进行实施方式1中的动作。
此外，在上述步骤S1107中，设为在嵌合成功的情况下关于I进行Actor部804及Critic部803的学习，但也可以从嵌合试行公开至成功为止使用全部试行时的数据而Actor部804及Critic部803进行学习。在该情况下，在实施方式1中，关于与控制量相应地形成多个神经网络的情况进行了记载，但如果知晓嵌合的成功的位置，则能够使用直至嵌合成功为止的距离而同时地形成与控制量的大小相对应的适当的多个神经网络。
作为强化学习模块而在基础中记载有Actor－Critic模型，但也可以使用Q－Learning等其他强化学习模型。
作为函数近似而举出了RBF网络，但也可以使用其他函数近似方法(线性、二次函数等)。
作为评价方法，举出在连接器的表面设置颜色差异的方法，但也可以是通过其他图像处理技术对连接器间的偏差量等进行评价的评价方法。
另外，如在实施方式1及本实施方式中所述这样，该技术的应用并不限定于连接器的嵌合。例如在将IC载置于基板的情况下也能够应用，特别是在将脚的尺寸误差大的电容器等插入至基板的孔的情况下，如果使用相同的方法，则也会取得效果。
另外，并不一定限定于向基板的插入，也能够利用于根据图像和控制量的关系而求出控制量的位置控制整体。在本发明中，具有下述优点，即，使用神经网络而学习图像和控制量的关系，由此能够在进行物体和物体的对位时对各自的个体差进行吸收，能够更高精度地计算控制量。
因此，在本实施方式中，在为了学习控制量而使用Actor-Critic模型时，Actor部804求出用于将由Critic部803与收益量相应地求出的值和由路径设定部806基于评价值求出的推荐值相加而试行的移动校正量，由此在通常的Actor-Critic模型中，直至对位成功为止需要非常多的反复试验次数，但根据本发明，能够大幅地削减对位的试行次数。
此外，在本实施方式中，关于对来自对位失败时的拍摄部201的图像进行评价而削减对位的试行次数进行了记载，但使用对位试行时的力觉传感器801的值也能够削减试行次数。例如，在包含连接器的嵌合或者两个物体的插入的对位中，通常在失败时由Actor部804对在力觉传感器801的值大于或等于阈值时是否处于两个物体的位置嵌合或者插入完成的位置进行判断。在该情况下，还考虑a.在达到阈值的时刻是嵌合或者插入中途的情况，b.嵌合和插入完成的嵌合或者插入中途的力觉传感器801的值表示一定程度的值的情况等。
在a.的情况下，存在对力觉传感器801的值和图像这两者进行学习的方法，如果使用在实施方式3中记载的方法，则能够实施详细内容。
在b.的情况下，作为仅对力觉传感器801的值进行学习的方法，如果使用在实施方式3中记载的方法，则能够实施。另外，作为其他方法，在Actor-Critic模型中的收益R的定义中，在将嵌合或者插入过程中所承受的最大负荷设为F，将A设为正的常数时，在成功时，定义为R＝(1-A/F)，在失败时，定义为R＝0，也能够取得相同的效果。
实施方式3.
在本实施方式中，关于在实施方式2中在对位成功之后进行的学习过程中高效地对数据进行收集的方法进行说明。因此，关于没有特别说明的情况设为与实施方式2相同。即，实施方式3中的位置控制装置的功能结构图为图8，硬件结构图为图9。
在动作中，对从实施方式2中的图11的步骤S1107的动作时高效地对学习数据进行收集的方法进行以下说明。
图12示出了实施方式3中的位置控制装置的路径学习中的流程图。
首先，步骤S1201中，在图11的步骤S1107中公侧连接器110和母侧连接器120的嵌合成功的情况下，路径设定部806将变量设为i＝0、j＝1、k＝1而初始化。变量i为此后的机器人臂100的学习次数，变量k为从公侧连接器110和母侧连接器120的嵌合脱离时起的学习次数，变量j为图12的流程图的循环次数。
接下来，在步骤S1202中，经由Actor部804向控制部203赋予移动量，通过驱动部204使机器人臂100移动，以使得路径设定部806从在图11步骤S1104中为了进行嵌合而赋予的移动量起返回1mm的量。而且对变量i加上1。在这里，赋予了从移动量起返回1mm的指示，但无需一定限定于1mm，也可以是0.5mm或2mm等的单位量。
接下来，在步骤S1203中，路径设定部806将此时的坐标设为O(i)(此时i＝1)而存储。
在步骤S1204中，路径设定部806以O(i)为中心，随机地决定移动量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)，经由Actor部804向控制部203赋予移动量，通过驱动部204使机器人臂100移动。此时，该移动量的最大量能够在可移动的范围任意地设定。
接下来在步骤S1205中，在步骤S1204中移动后的位置，Actor部804对与移动量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)相对应的力觉传感器801的值进行收集，并且在步骤S1206中，Critic部803和Actor部804将对移动量乘以－1(-ΔX，-ΔY，-ΔZ，-ΔAx，-ΔAy，-ΔAz)和为了对公侧连接器110进行保持所承受的力进行测量的力觉传感器801的传感器值，作为学习数据而记录。
接下来在步骤S1207中，路径设定部806对收集到的数据数是否能够达到规定数J进行判定。如果数据数不足，则在步骤S1208中对变量j加1而返回至步骤S1204，将移动量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)通过随机数改变而取得数据，直至储存规定数J个的数据为止反复进行S1204～S1207。
在储存规定数的数据后，在步骤S1209中，路径设定部806将变量j设为1，然后在步骤S1210中，对公侧连接器110和母侧连接器120的嵌合脱离进行确认。
如果没有脱离，则经由步骤S1211而返回至步骤S1202。
在步骤S1211中路径设定部806经由Actor部804而向控制部203赋予移动量，通过驱动部204使机器人臂100移动，以使得机器人臂100的坐标返回至赋予移动量前的坐标O(i)。
然后，直至公侧连接器110和母侧连接器120的嵌合脱离为止重复进行步骤S1202至步骤S1210为止的循环，重复进行从为了进行嵌合而赋予的移动量起返回1mm或者单位量的处理、和以返回的位置为中心赋予移动量而对力觉传感器801的数据进行收集的处理。在公侧连接器110和母侧连接器120的嵌合脱离的情况下，进入至步骤S1212。
在步骤S1212中，路径设定部806将变量i设为I(I为比在判定为公侧连接器110和母侧连接器120的嵌合脱离时的i的值大的整数)，并且经由Actor部804而对控制部203赋予移动量，通过驱动部204使机器人臂100移动，以使得从为了进行嵌合而赋予的移动量起返回例如10mm(在这里也可以是其他值)。
接下来，在步骤S1213中，路径设定部806将在步骤S1212中移动的机器人臂100的坐标的位置作为中心位置O(i+k)而存储。
接下来，在步骤S1214中，路径设定部806以中心位置O(i+k)为中心，再次随机地决定移动量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)，然后经由Actor部804对控制部203赋予移动量，通过驱动部204使机器人臂100移动。
在步骤S1215中，Critic部803和Actor部804取得在通过移动量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)移动后的机器人臂100位置由单镜头照相机102的拍摄部201拍摄到的图像。
在步骤S1216中，Critic部803和Actor部804将对移动量乘以－1的(-ΔX，-ΔY，-ΔZ，-ΔAx，-ΔAy，-ΔAz)图像作为1个学习数据而进行记录。
在步骤S1217中，路径设定部806对收集的数据数是否能够达到规定数J进行判定。如果数据数不足，则在步骤S1212中对变量j加上1而返回至步骤S1214，将移动量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)通过随机数改变而取得数据，直至积蓄规定数J个数据为止而重复S1214～S1217。
此外，能够取得S1204中的移动量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)和S1204中的移动量的随机值的最大值不同的值。
通过以上的方法取得的学习数据，进行Actor部804及Critic部803的学习。
图13是表示实施方式3中的神经网络和神经网络的学习规则的例子的图。
关于实施方式1、2，对使用力觉传感器801的数据的学习方法进行了记载。在实施方式1和2中，输入层仅针对图像，在实施方式3中，向输入层取代图像而输入力觉传感器801的值即可。力觉传感器801的值在3个(力和2个方向的力矩)的情况下和6个(3个方向和3个方向力矩)的情况下均可。输出层将控制量(ΔX，ΔY，ΔZ，ΔAx，ΔAy，ΔAz)输出。此外，在公侧连接器110和母侧连接器120的嵌合脱离的情况下，向输入层同时地输入图像和力觉传感器801的值。
在神经网络的学习过程中，为了使输入的图像及根据从力觉传感器801的值经由中间层而得到的输出层的输出值与图像及力觉传感器801的值和在组中存储的控制量近似，对中间层的参数进行优化，进行学习。
最后，路径决定部802将该学习的神经网络的数据赋予给控制参数生成部202，由此能够进行实施方式1中的动作。
此外，在本实施方式中，从用于进行公侧连接器110和母侧连接器120的嵌合的移动起稍微返回，并为了使机器人臂100微小地向周边移动而学习，以直至嵌合脱离为止通过单镜头照相机102的图像的像素量无法进行充分的学习为前提而进行了说明。
但是，在即使单镜头照相机102的图像是充分高精细且使机器人臂100微小地向周边移动的图像，仍能够充分地学习的情况下，也可以仅通过单镜头照相机102的图像进行学习，在公侧连接器110和母侧连接器120嵌合的情况下，也可以使用单镜头照相机102的图像和力觉传感器801的值两者。
并且，在实施方式1、2中，对使用多个神经网络的情形进行了说明。在本实施方式中，在例如公侧连接器110和母侧连接器120嵌合的状态、公侧连接器110和母侧连接器120没有嵌合的情况下，也可以区分神经网络。如上述说明所述，在公侧连接器110和母侧连接器120嵌合的状态下仅在输入层形成力觉传感器801，仅通过从嵌合脱离的图像形成输入层，能够进行更高精度的学习，在仅通过图像进行学习的情况下，能够与没有嵌合的情况进行区分，由此能够为了图像的结构而进行高精度的学习。
此外，如在实施方式1、2中所述这样，在本实施方式中，该技术的应用并不限定于连接器的嵌合。例如也能够应用于对基板载置IC的情况，特别是在将脚的尺寸误差大的电容器等向基板的孔插入的情况下，如果使用相同的方法，则也会取得效果。
另外，并不一定限定于向基板的插入，能够利用于根据图像和控制量的关系而求出控制量的位置控制整体。在本发明中，使用神经网络对图像和控制量的关系进行学习，由此具有下述优点，即，在进行物体和物体的对位时能够对各自的个体差进行吸收，能够更高精度地对控制量进行计算。
因此，在本实施方式中，具有：路径设定部806，其在关于两个物体包含伴随插入的对位的情况下，为了学习控制量，对向在从插入状态拔出时从插入状态起的路径上和其周边移动的移动量进行指示；以及Actor部804，其取得移动后的位置的输出层、为了将移动后的位置的力觉传感器801的值作为输入层而学习所移动后的位置和力觉传感器801的值，因此能够高效地对学习数据进行收集。
标号的说明
100：机器人臂，
101：抓持部，
102：单镜头照相机
110：公侧连接器
120：母侧连接器
201：拍摄部
202：控制参数生成部
203：控制部
204：驱动部
301：输入输出接口
302：处理器，
303：存储器，
304：控制电路，
305：电动机，
801：力觉传感器
802：路径决定部
803：Critic部
804：Actor部
805：评价部
806：路径设定部

Claims (8)

1.一种位置控制装置，其具有：
拍摄部，其对两个物体存在的图像进行拍摄；以及
控制参数生成部，其将拍摄到的两个物体存在的图像的信息输入至神经网络的输入层，将用于对所述拍摄到的两个物体的位置关系进行控制的位置的控制量，作为所述神经网络的输出层而输出。
2.根据权利要求1所述的位置控制装置，其中，
具有：控制部，其使用在权利要求1中输出的位置的控制量而控制用于对所述拍摄到的两个物体的位置关系进行控制的电流或者电压；以及驱动部，其使用用于对所述拍摄到的两个物体的位置关系进行控制的电流或者电压，使所述拍摄到的两个物体的位置关系的一方的位置移动。
3.根据权利要求1或2所述的位置控制装置，其中，
在权利要求1或2中记载的控制参数生成部，从多个神经网络选择一个。
4.根据权利要求3所述的位置控制装置，其中，
所述控制参数生成部，与所述控制量的大小相应而对所述多个神经网络中的一个进行选择。
5.根据权利要求4所述的位置控制装置，其中，
作为所述控制参数生成部，在权利要求4中记载的所述多个神经网络各自使用与所述控制量的大小相对应的所述拍摄到的两个物体的图像而进行学习。
6.根据权利要求1至5中任一项所述的位置控制装置，其中，
在为了对所述控制量进行学习而使用强化学习模型时，Actor部使用路径设定部基于表示成功程度的评价值而求出的推荐值，求出用于试行的移动校正量。
7.一种位置控制方法，其是两个物体的位置控制方法，其中，
对两个物体存在的图像进行拍摄，
将拍摄到的两个物体存在的图像的信息输入至神经网络的输入层，
将用于对所述拍摄到的两个物体的位置关系进行控制的位置的控制量，作为所述神经网络的输出层而输出。
8.一种位置控制方法，其是两个物体的位置控制方法，其中，
为了学习用于进行用于控制所述两个物体的位置关系的对位的控制量，使用基于表示成功程度的评价值而求出的推荐值，求出移动校正量而进行对位的试行和成功时的学习，
对两个物体存在的图像进行拍摄，
将拍摄到的两个物体存在的图像的信息输入至神经网络的输入层，
将用于对所述拍摄到的两个物体的位置关系进行控制的位置的所述控制量，作为所述神经网络的输出层而输出。
CN201780085555.2A 2017-02-09 2017-02-09 位置控制装置及位置控制方法 Active CN110268358B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/004732 WO2018146769A1 (ja) 2017-02-09 2017-02-09 位置制御装置及び位置制御方法

Publications (2)

Publication Number Publication Date
CN110268358A true CN110268358A (zh) 2019-09-20
CN110268358B CN110268358B (zh) 2022-11-04

Family

ID=63107958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085555.2A Active CN110268358B (zh) 2017-02-09 2017-02-09 位置控制装置及位置控制方法

Country Status (7)

Country Link
US (1) US11440184B2 (zh)
JP (1) JP6587761B2 (zh)
KR (1) KR102113462B1 (zh)
CN (1) CN110268358B (zh)
DE (1) DE112017007025T5 (zh)
TW (1) TWI640851B (zh)
WO (1) WO2018146769A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823230A (zh) * 2020-06-19 2020-10-27 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
CN114378811A (zh) * 2020-10-05 2022-04-22 欧特克公司 力和扭矩引导的机器人装配技术

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
JP6603257B2 (ja) * 2017-03-31 2019-11-06 ファナック株式会社 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法
CN107292392B (zh) * 2017-05-11 2019-11-22 苏州大学 基于深度带权双q学习的大范围监控方法及监控机器人
JP7020812B2 (ja) * 2017-07-19 2022-02-16 キヤノン株式会社 ロボット装置、ロボット装置の制御方法、ロボット装置を用いた物品の組立方法、制御プログラムおよび記録媒体
DE102019122790B4 (de) * 2018-08-24 2021-03-25 Nvidia Corp. Robotersteuerungssystem
US11833681B2 (en) 2018-08-24 2023-12-05 Nvidia Corporation Robotic control system
DE102019125117B4 (de) * 2018-09-18 2020-12-10 Kinova Inc. Sichtgeführter Roboterarm und Verfahren zum Betreiben desselben
US11292133B2 (en) * 2018-09-28 2022-04-05 Intel Corporation Methods and apparatus to train interdependent autonomous machines
JP6699702B2 (ja) * 2018-10-17 2020-05-27 トヨタ自動車株式会社 内燃機関の制御装置及びその制御方法、並びに内燃機関を制御するための学習モデル及びその学習方法
JP6978454B2 (ja) * 2019-02-22 2021-12-08 ファナック株式会社 物体検出装置、制御装置及び物体検出用コンピュータプログラム
JP7290439B2 (ja) * 2019-03-25 2023-06-13 Ntn株式会社 嵌合作業装置
DE102019205651B3 (de) * 2019-04-18 2020-08-20 Kuka Deutschland Gmbh Verfahren und System zum Ausführen von Roboterapplikationen
JP6941305B2 (ja) * 2019-07-30 2021-09-29 株式会社安川電機 嵌合装置、嵌合方法及びプログラム
WO2021118702A1 (en) 2019-12-12 2021-06-17 Mujin, Inc. Method and computing system for performing motion planning based on image information generated by a camera
WO2021176902A1 (ja) * 2020-03-02 2021-09-10 ソニーグループ株式会社 学習処理装置、ロボット制御装置、および方法、並びにプログラム
JP7463777B2 (ja) * 2020-03-13 2024-04-09 オムロン株式会社 制御装置、学習装置、ロボットシステム、および方法
DE102020112149A1 (de) 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gesellschaft mit beschränkter Haftung Verfahren zur Kontrolle von Handlingsystemen
US20210352835A1 (en) * 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gmbh Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine
DE102020113278A1 (de) 2020-05-15 2021-11-18 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung des Betriebs eines Industrieroboters
DE102020206913B4 (de) * 2020-06-03 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Roboters
WO2022002571A2 (de) 2020-07-02 2022-01-06 Sew-Eurodrive Gmbh & Co. Kg Verfahren zum betreiben eines systems und system, aufweisend einen stapel von objekten, einen roboter, einen sensor und ein aufnahmemittel
DE102020209685B4 (de) * 2020-07-31 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern einer robotervorrichtung und robotervorrichtungssteuerung
CN114851184B (zh) * 2021-01-20 2023-05-09 广东技术师范大学 一种面向工业机器人的强化学习奖励值计算方法
CN113059570B (zh) * 2021-04-09 2022-05-24 华南理工大学 基于人体动态臂力估计模型的人-机器人协同控制方法
DE102021109332B4 (de) * 2021-04-14 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters zum Einsetzen eines Objekts in eine Einsetzstelle
DE102021109333B4 (de) * 2021-04-14 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe
DE102021204846B4 (de) 2021-05-12 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung
DE102022202144A1 (de) 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102022202145A1 (de) 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Roboter und Verfahren zum Steuern eines Roboters
DE102022202143B4 (de) 2022-03-02 2024-05-16 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102022204724A1 (de) 2022-05-13 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050073964A (ko) * 2004-01-12 2005-07-18 고종선 동기전동기를 이용한 위치 제어장치 및 방법
CN101169621A (zh) * 2007-11-19 2008-04-30 北京理工大学 一种基于小波神经网络的视觉反馈控制方法
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
CN105291101A (zh) * 2014-06-12 2016-02-03 精工爱普生株式会社 机器人、机器人系统以及控制装置
CN106003021A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 机器人、机器人控制装置以及机器人系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309525A (en) * 1990-06-14 1994-05-03 Canon Kabushiki Kaisha Image processing apparatus using neural network
JPH05318355A (ja) 1992-05-25 1993-12-03 Sony Corp 位置補正方法及び位置補正装置
CN1072374C (zh) * 1995-08-07 2001-10-03 货款接收机公司 用人工神经网络对硬币的有效性进行图形识别的装置
DE69736348T2 (de) 1996-10-24 2006-11-30 Fanuc Ltd. Roboterkraftsteuersystem mit visuellem sensor für zusammenfügungsarbeiten
TW444499B (en) * 1998-12-31 2001-07-01 Tsai Ching Yuan Binocular mechanical head monitoring system
JP3876234B2 (ja) * 2003-06-17 2007-01-31 ファナック株式会社 コネクタ把持装置、同装置を備えたコネクタ検査システム及びコネクタ接続システム
JP2005125475A (ja) 2003-10-24 2005-05-19 Sunao Kitamura 一回の成功試行で最良経路を学習するアーキテクチャ
WO2006122030A2 (en) * 2005-05-07 2006-11-16 Thaler Stephen L Device for the autonomous bootstrapping of useful information
JP5427658B2 (ja) 2010-03-16 2014-02-26 パナソニック株式会社 コンパレータのオフセット補正装置
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
JP5869406B2 (ja) * 2012-03-30 2016-02-24 株式会社大気社 熱交換システム、及び、コントローラ
US20140025613A1 (en) * 2012-07-20 2014-01-23 Filip Ponulak Apparatus and methods for reinforcement learning in large populations of artificial spiking neurons
TWI492008B (zh) * 2013-11-01 2015-07-11 Ind Tech Res Inst 工作機械控制系統及其方法
CN105430255A (zh) * 2014-09-16 2016-03-23 精工爱普生株式会社 图像处理装置以及机器人系统
JP6517567B2 (ja) * 2015-03-31 2019-05-22 日本電産サンキョー株式会社 サーボモータ制御装置及び衝突検出方法
US10776692B2 (en) * 2015-07-24 2020-09-15 Deepmind Technologies Limited Continuous control with deep reinforcement learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050073964A (ko) * 2004-01-12 2005-07-18 고종선 동기전동기를 이용한 위치 제어장치 및 방법
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
CN101169621A (zh) * 2007-11-19 2008-04-30 北京理工大学 一种基于小波神经网络的视觉反馈控制方法
CN105291101A (zh) * 2014-06-12 2016-02-03 精工爱普生株式会社 机器人、机器人系统以及控制装置
CN106003021A (zh) * 2015-03-27 2016-10-12 精工爱普生株式会社 机器人、机器人控制装置以及机器人系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823230A (zh) * 2020-06-19 2020-10-27 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
CN111823230B (zh) * 2020-06-19 2022-01-07 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
CN114378811A (zh) * 2020-10-05 2022-04-22 欧特克公司 力和扭矩引导的机器人装配技术

Also Published As

Publication number Publication date
DE112017007025T5 (de) 2019-10-24
WO2018146769A1 (ja) 2018-08-16
US11440184B2 (en) 2022-09-13
US20200030970A1 (en) 2020-01-30
KR102113462B1 (ko) 2020-05-21
JPWO2018146769A1 (ja) 2019-06-27
TWI640851B (zh) 2018-11-11
KR20190102250A (ko) 2019-09-03
TW201830183A (zh) 2018-08-16
CN110268358B (zh) 2022-11-04
JP6587761B2 (ja) 2019-10-09

Similar Documents

Publication Publication Date Title
CN110268358A (zh) 位置控制装置及位置控制方法
CN110248774A (zh) 位置控制装置及位置控制方法
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN105023010A (zh) 一种人脸活体检测方法及系统
TW201932257A (zh) 位置控制裝置以及位置控制方法
CN113954085A (zh) 一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法
WO2017149869A1 (ja) 情報処理装置、方法、プログラム及びマルチカメラシステム
CN110281231A (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN110756462B (zh) 电源适配器测试方法、装置、系统、控制装置及存储介质
WO2021085561A1 (ja) 学習データ生成方法
CN113878588B (zh) 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
CN117881507A (zh) 指令值生成装置、方法、以及程序
CN117237414A (zh) 移动机器人平台下基于双目图像的抓取引导方法及系统
Atienza et al. A practical zoom camera calibration technique: an application on active vision for human-robot interaction
Cirillo et al. Vision-based robotic solution for wire insertion with an assigned label orientation
CN116670565A (zh) 用于确定符合性的方法和系统
JP7319891B2 (ja) 画像処理装置及び画像処理方法
CN110675454A (zh) 物体定位方法、装置及存储介质
CN111625001A (zh) 机器人的控制方法及装置、工业机器人
CN112766151B (zh) 一种用于导盲眼镜的双目目标检测方法和系统
JP7356867B2 (ja) 把持装置
D’souza et al. Simulation of object recognition by a robot
CN113902807A (zh) 一种基于半监督学习的电子元器件三维重建方法
DE112021005322T5 (de) Trainingsdaten-Erzeugungsvorrichtung, Maschinen- Lernvorrichtung und Roboter-Gelenkwinkel-Schätzvorrichtung
CN117036483A (zh) 一种高尔夫球三维定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant