CN101733755A - 机械手系统、机械手控制装置以及机械手控制方法 - Google Patents
机械手系统、机械手控制装置以及机械手控制方法 Download PDFInfo
- Publication number
- CN101733755A CN101733755A CN200910220824A CN200910220824A CN101733755A CN 101733755 A CN101733755 A CN 101733755A CN 200910220824 A CN200910220824 A CN 200910220824A CN 200910220824 A CN200910220824 A CN 200910220824A CN 101733755 A CN101733755 A CN 101733755A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- photographs
- reference mark
- moving part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 11
- 239000000284 extract Substances 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims description 35
- 238000005315 distribution function Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 abstract 2
- 239000003550 marker Substances 0.000 description 28
- 230000009471 action Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及机械手系统、机械手控制装置及方法，根据从显示在闪动的图像中的标识器推定的PSF，复原不闪动的原图像，进行机械手的定位。机械手系统(5)包括：具有臂的机械手；设置在臂的移动目的地、即工件附近的基准图案(150)；设置在臂上的数字式照相机，其输出工件和基准图案被一同拍摄的拍摄图像、即输入通过在臂的移动中拍摄而将基准图案拍摄成轨迹像的摄影图像；从摄影图像中提取轨迹像的基准图案提取部(104)；通过进将提取出的轨迹像作为PSF的转换，复原没有闪动的图像的图像复原部(106)；根据复原后的图像计算工件位置的位置计算部(110)；和为了根据计算出的位置使臂移动而进行控制的机械手动作控制部(115)。
Description
技术领域
本发明涉及机械手系统、机械手控制装置以及机械手控制方法。
背景技术
在工厂等制造现场，为了实现自动化和人力节省，使用了多轴控制的工业用机械手。在这样的工业用机械手中，有一种具有相当于人眼的数字式照相机，通过对移动中拍摄的图像进行图像处理，自行移动到可把持对象物的位置，或在移动时自行躲避障碍物的工业用机械手，已经进入实用化阶段。特别是，近年来随着高精细数字式照相机的定位的高精度化、和工业用机械手的作业的高速化，对所拍摄的图像的模糊修正成为了必要。作为这样的模糊修正方法，如下述的专利文献1和专利文献2所述，利用设置在工业用机械手的移动部的加速度传感器检测出与移动物的动作相关的信息，根据检测出的信息求出表示基于动作的模糊的特性的点像分布函数(PSF：Point Spread Function)，根据该PSF进行模糊修正。
[专利文献1]特开2008-118644号公报
[专利文献2]特开2008-11424号公报
但是，由于加速度传感器被设置在工业用机械手的移动部，所以，根据不同的作业环境和作业内容，温度变动或加速度变化大，从加速度传感器输出的信息的可靠性和精度下降。而且，为了高精度求出PSF，需要使数字式照相机的拍摄时刻与来自加速度传感器的信号输出同步，因此，需要大量的成本和操作。
发明内容
本发明为了解决上述问题的至少一部分而提出，能够作为以下的方式或应用例来实现。
[应用例1]本应用例涉及的机械手系统，其特征在于，具备：具有移动部的机械手；设置于上述移动部的摄影机构；对利用上述摄影机构拍摄目标物和基准标记，将上述基准标记拍摄成轨迹像的摄影图像进行输出的输出机构；从输出的上述摄影图像中提取出上述轨迹像的提取机构；将提取出的上述轨迹像作为点像分布函数，通过使用了上述点像分布函数的图像转换，从上述摄影图像取得转换后的图像的图像取得机构；根据取得的上述图像计算出上述目标物的位置的计算机构；和根据计算出的上述位置，对用于使上述移动部向上述目标物移动的上述机械手进行控制的控制机构。
根据这样的构成，从目标物和基准标记被一起拍摄的摄影图像、即因在移动部的移动中被拍摄而闪动的摄影图像中，提取出基准标记移动的轨迹像，将提取出的轨迹像作为点像分布函数，通过使用了点像分布函数的图像转换，根据闪动的摄影图像复原减轻了闪动的图像。根据复原后的图像计算出作为移动部的移动目的地的目标物的位置，并为了根据计算出的位置，使机械手的移动部向目标物移动而进行控制。因此，由于将在摄影图像中显示的基准标记的轨迹像作为点像分布函数，所以，不需要用于取得与移动相关的信息的设备等，可在不影响可靠性和精度的情况下容易地取得位置。
[应用例2]在上述应用例涉及的机械手系统中，优选上述基准标记的周围是具有能够判别出上述基准标记的亮度差的单色区域。
根据这样的构成，提取机构可容易地判别并提取出基准标记。
[应用例3]在上述应用例涉及的机械手系统中，优选上述单色区域比在上述摄影图像中因上述移动部的移动而形成的闪动区域大。
根据这样的构成，在闪动的摄影图像中，即使在基准标记的附近还显示了其他物体像的情况下，提取机构也能够容易地判别并提取出基准标记。
[应用例4]在上述应用例涉及的机械手系统中，优选还具有对复原后的上述图像中包含的上述基准标记进行视觉确认的视觉确认机构。
根据这样的构成，通过视觉确认复原后的图像中包含的基准标记，可确认是否被正常复原。
[应用例5]在上述应用例涉及的机械手系统中，优选具有多个上述基准标记，并且各个的位置为已知。
根据这样的构成，即使移动部直线移动或旋转移动，也能够检测出。
[应用例6]本应用例涉及的机械手控制装置，其特征在于，具备：具有移动部的机械手；被设置于上述移动部的摄影机构；输入拍摄了目标物和基准标记的摄影图像、即将上述基准标记拍摄成轨迹像的摄影图像的输入机构；从被输入的上述摄影图像中提取出上述轨迹像的提取机构；将提取出的上述轨迹像作为点像分布函数，通过使用了上述点像分布函数的图像转换，从上述摄影图像取得转换后的图像的图像取得机构；根据取得的上述图像，计算出上述目标物的位置的计算机构；和根据计算出的上述位置，对用于使上述移动部向上述目标物移动的上述机械手进行控制的控制机构。
根据这样的构成，从目标物和基准标记被一起拍摄的摄影图像、即因在移动部的移动中被拍摄而闪动的摄影图像中，提取出基准标记移动的轨迹像，将提取出的轨迹像作为点像分布函数，进行使用了点像分布函数的图像转换，根据闪动的摄影图像复原减轻了闪动的图像。根据复原后的图像计算出作为移动部的移动目的地的目标物的位置，为了根据计算出的位置，使机械手的移动部向目标物移动而进行控制。因此，由于将在摄影图像中显示的基准标记的轨迹像作为点像分布函数，所以，不需要用于取得关于移动的信息的设备等，可在不影响可靠性和精度的情况下容易地取得位置。
[应用例7]本应用例涉及的机械手控制方法，其特征在于，具备：机械手所具有的移动部的移动目的地的目标物；设置在上述移动部的摄影机构；基准标记；输入上述目标物和上述基准标记被一起摄影的摄影图像、即输入通过上述摄影机构在上述移动部的移动中进行摄影而将上述基准标记拍摄成轨迹像的上述摄影图像的步骤；从被输入的上述摄影图像中提取出上述轨迹像的步骤；将提取出的上述轨迹像作为点像分布函数，通过使用了上述点像分布函数的图像转换，从闪动的上述摄影图像复原减轻了闪动的图像的步骤；根据复原后的上述图像计算出上述目标物的位置的步骤；和根据计算出的上述位置，对为了使上述移动部向上述目标物移动的上述机械手进行控制的步骤。
根据这样的方法，从目标物和基准标记被一起拍摄的摄影图像、即因在移动部的移动中摄影而闪动的摄影图像中，提取出基准标记移动的轨迹像，将提取出的轨迹像作为点像分布函数，通过使用了点像分布函数的图像转换，从闪动的摄影图像复原减轻了闪动的图像。根据复原后的图像计算出作为移动部的移动目的地的目标物的位置，根据计算出的位置，控制机械手的移动部向目标物移动。因此，由于将摄影图像中显示的基准标记的轨迹像作为点像分布函数，所以不需要用于取得与移动相关的信息的设备等，可在不影响可靠性和精度的情况下容易地取得位置。
附图说明
图1是表示本实施方式1涉及的机械手系统的概况的图。
图2是表示本实施方式1涉及的机械手系统的功能结构的图。
图3是说明拍摄到的标识器和基准图案的图。
图4是表示本实施方式1涉及的机械手系统的处理流程的流程图。
图5是说明本实施方式2涉及的标识器和基准图案的配置的图。
图6是说明本实施方式2涉及的标识器和基准图案的旋转移动的图。
图中：5-机械手系统；10-机械手；11-第1轴；12-第2轴；13-第3轴；14-第4轴；15-第5轴；16-第6轴；17、17A、17B-臂；18-腕；19-手；20-数字式照相机；25-机械手基座；30-执行元件；50-机械手控制装置；80-计算机；82-显示器；84-键盘；85-线缆；100-位置信息取得部；102-图像输入部；104-基准图案提取部；106-图像复原部；108-复原确认部；110-位置计算部；115-机械手动作控制部；120-驱动部；130-工件；140、140A、140B、140C-标识器；150、150A、150B、150C-基准图案；160-轨迹像。
具体实施方式
下面，参照附图，对机械手系统进行说明。
(实施方式1)
图1是表示机械手系统5的概略外观的图。该机械手系统5具有机械手10、和控制该机械手10的机械手控制装置50。该机械手10是6轴控制的多关节工业用机械手，其中，作为移动部，具有被设置于设置面的作为基体的机械手基座25、和以与设置面的垂直轴旋转的第1轴11、使臂17A以水平轴旋转的第2轴12、在臂17A的轴方向旋转的第3轴13、被固定于臂17A并使臂17B在水平方向旋转的第4轴14、在臂17B的轴方向旋转的第5轴15、及被固定于臂17B并使腕18在水平方向旋转的第6轴。而且，在该腕18的前端，安装有用于把持部件等的手19、和利用如省略了图示的CCD(Charge Coupled Device)那样的摄像元件对手19把持的方向进行拍摄的作为拍摄机构的数字式照相机20。
另外，在本实施方式1中，采用了6轴控制的多关节工业用机械手作为机械手10，但不限于此，也可以是标量(scalar)型机械手。而且，机械手10的用途不限于基于手19对部件的把持，也可以把持用于进行焊接或钎焊那样的加工的工具。并且，不限定于工业用机械手，也可以是医疗用机械手或家庭用机械手。它们的驱动轴构成为都是在基于未图示的马达或空气压缩机等而动作的多个执行元件30(图2)的驱动下转动，多个执行元件30构成为根据从机械手控制装置50经由线缆85送来的控制信号进行驱动。另外，数字式照相机20以规定的曝光时间进行摄影，将拍摄到的图像信号通过线缆85送到机械手控制装置50。
而且，在机械手10的手19所把持的工件130的附近，以规定的大小配置有具有单色区域的1个平板状标识器140。而且，在该标识器140的大致中心部，刻印有点状的基准标记、即基准图案150。手19和标识器140被配置成数字式照相机20能够在同一视场内拍摄到，基准图案150和标识器140以在数字式照相机20进行拍摄时能够分别判别的色彩和大小而形成。在本实施方式1中，标识器140被设定为灰色的单色区域和黑色的基准图案150，但不限定于此，单色区域只要使亮度、和色度不同到能够容易识别基准图案150的程度即可，可以是任意颜色。机械手控制装置50具有计算机80、显示器82和键盘84。虽然未图示，但计算机80通过由未图示的CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(HardDisk Drive)、序列发生器、机械手控制器以及驱动单元等构成的硬件资源、和ROM与HDD等中存储的各种软件有机地配合动作，实现了后述的各功能部的功能。
图2是表示机械手系统5的功能结构的图。机械手控制装置50具有：位置信息取得部100、机械手动作控制部115和驱动部120。而且，位置信息取得部100具有图像输入部102、基准图案提取部104、图像复原部106、复原确认部108和位置计算部110，用于取得工件130的位置信息。其中，在以下的说明中，适当参照图2和图3进行说明。图像输入部102是被输入从数字式照相机20输出的图像信号的输入机构。输入到该图像输入部102中的图像信号如图3(a)所示，是从工件130的上方观察，在同一视野内包含基准图案150和标识器140的图像的信号，该信号被送到基准图案提取部104。另外，由于数字式照相机20被安装在机械手10的手19上，所以，因在臂17移动时以规定的曝光时间开放快门进行摄影，导致产生基于移动的模糊而输出闪动的闪动图像。图3(b)和图3(c)是表示基准图案150的移动的图，随着臂17的移动，标识器140A、140B、140C被拍摄成向右上方向移动，同时如图3(c)所示那样，基准图案150A、150B、150C也被拍摄成向右上方移动。结果，如图3(d)所示，包含对基准图案150移动的轨迹进行表示的轨迹像160的闪动图像的信号，被送到基准图案提取部104。该情况下，标识器140A、140B、140C成为1个背景区域。
基准图案提取部104是分析被输入的闪动图像的信号，提取出基准图案150的轨迹像160的提取机构，提取出的与轨迹像160相关的信息被送到图像复原部106。该情况下，由于轨迹像160和标识器140分别具有容易被识别的不同程度的亮度和色度，所以，通过以其为基准进行识别，可容易地提取出轨迹像160。此时，可以首先从闪动图像中基于标识器140的色成分和形状等提取出标识器140，然后基于亮度差提取出在该标识器140中包含的轨迹像160。另外，在由数字式照相机20拍摄的图像中，当在曝光时间内拍摄的标识器140A、140B、140C彼此不重叠的背景区域上，拍摄到任意背景物时，有可能不能正确提取出轨迹像160。因此，根据数字式照相机20的曝光时间和臂17的移动速度，以在闪动图像中基于臂17的移动而产生的标识器140的重复区域包含轨迹像160的方式，决定标识器140的大小。即，被决定为比因移动而产生的最大模糊量大。而且，这里提取出的轨迹像160表示PSF的空间移动量的信息。该情况下，轨迹像160的亮度值的变化与臂17的移动速度对应变化。即，移动速度越慢，构成轨迹像160的点的亮度值越上升，移动速度越快，构成轨迹像160的点的亮度值越下降。因此，在本实施方式1中，在预定的移动速度的范围内调整成能够取得线状的轨迹像160的亮度值的变化。
图像复原部106是通过对因模糊而闪动的图像，使用由基准图案提取部104提取出的轨迹像160所表示的PSF进行图像转换(逆转换)，来修正基于移动的模糊，复原减轻了闪动并接近原图像的图像(复原图像)的复原机构。其中，这样的方法例如被记载在特开2006-279807号公报中。这样，被修正了模糊的复原图像被送到位置计算部110。而且，修正了模糊的结果是，修正前的图像中包含的轨迹像160如图3(e)所示，在复原图像中被转换成没有模糊的1个基准图案150。复原确认部108是通过将这样转换的基准图案150显示到显示器82上，使用户确认被正确修正了的情况的确认机构。这里，在用户根据确认结果，确认了基准图案150未被复原为正常的情况下，也可以对位置信息取得部100再次指示进行图像的复原。位置计算部110是根据复原图像计算工件130的位置的计算机构，其将与计算出的位置相关的信息送到机械手动作控制部115。机械手动作控制部115和驱动部120是控制臂17等动作部的动作的控制机构。机械手动作控制部115根据被送来的关于位置的信息，计算出用于使机械手10移动的多个执行元件30的驱动量，并将计算出的关于驱动量的驱动信息送到驱动部120。驱动部120根据从机械手动作控制部115送来的驱动信息，针对各个执行元件30生成驱动信号，并发送给各个执行元件30。结果，能够将臂17移动到规定的位置，使手19把持工件130。
图4是表示由机械手系统5执行的使机械手10把持工件130的处理流程的流程图。当执行该处理时，首先，因机械手10的移动而产生模糊，被输入闪动的动作模糊的图像(步骤S200)。接着，计算机80的CPU从被输入的图像中提取出作为基准图案的PSF(步骤S202)。然后，CPU复原根据提取出的PSF修正了模糊的图像(步骤S204)。接着，判定图像是否被正常复原(步骤S206)。这里，在判断为图像未被正常复原的情况下(步骤S206中为否)，CPU返回到从被输入的图像中提取出作为基准图案的PSF的步骤(步骤S202)，再次复原图像。另一方面，在判定为图像被正常复原的情况下(步骤S206中为是)，CPU根据复原后的图像计算出工件130的位置(步骤S208)。接下来，CPU指示机械手10，使其移动到可把持工件130的位置，并把持工件130(步骤S210)，然后结束一系列的处理。通过以上的处理，在被输入的图像包含因安装于臂17的数字式照相机20在摄影中移动而产生的模糊的情况下，可根据标识器140上的基准图案150的轨迹像160所表示的PSF对该图像进行逆转换，转换成模糊被修正了的图像。并且，根据转换后的图像计算出工件130的位置，将臂17移动到计算出的位置。结果，机械手控制装置50可正确地取得工件130的位置，并且机械手10能够可靠地把持工件130。
(实施方式2)
下面，参照图5，对本发明的实施方式2进行说明。其中，在以下的说明中，对于与已经说明的部分相同的部分，标记相同的符号并省略说明。实施方式1中在数字式照相机20的视野内配置了工件130和1个标识器140，但在本实施方式2中，如图5(a)所示的图像那样，在与工件130同一平面上的周围，配置了已知位置关系的4个标识器140。另外，标识器140只要在数字式照相机20的同一视场内有3个以上即可。图5(b)是在臂17直线移动时拍摄的图像。另外，实际上标识器140也在移动方向上产生模糊，但由于不属于本发明的本质，所以未表示标识器140的模糊。在这样的直线移动的情况下，通过进行与实施方式1同样的处理，可修正因移动引起的模糊。图6(a)是在臂17以工件130的附近为中心旋转移动时所拍摄的图像。在这样的情况下，机械手控制装置50如图6(b)所示，根据3个以上的标识器140的移动量，通过进行仿射转换系数转换，可求出旋转中心和移动方向。其中，仿射转换是将图像放大、缩小、旋转或平行移动的公知的转换方法。结果，在臂17进行了直线移动或旋转移动的情况下；或即使进行了随着定标(scaling)的动作时，也是不随着数字式照相机20自身的轴旋转的移动的情况下，机械手控制装置50能够正确复原动作模糊的图像。并且，在数字式照相机20的同一视场内有4个以上的标识器140的情况下，还可以检测出投影转换的变化。这样的实施方式2也可以达到与实施方式1相同的效果。
参照附图，对本发明的实施方式进行了说明，但具体的结构不限定于该实施方式，还包括不超出本发明宗旨的范围的设计变更等。例如，标识器140也可以是黑色，并提高基准图案150的亮度值。而且，标识器140不限于平板状，也可以是立体状。
Claims (7)
1.一种机械手系统，其特征在于，具备：
具有移动部的机械手；
设置在上述移动部的摄影机构；
对利用上述摄影机构拍摄目标物和基准标记，将上述基准标记拍摄成轨迹像的摄影图像进行输出的输出机构；
从输出的上述摄影图像中提取出上述轨迹像的提取机构；
将提取出的上述轨迹像作为点像分布函数，通过使用了上述点像分布函数的图像转换，从上述摄影图像中取得转换后的图像的图像取得机构；
根据取得的上述图像计算出上述目标物的位置的计算机构；和
根据计算出的上述位置，对用于使上述移动部向上述目标物移动的上述机械手进行控制的控制机构。
2.根据权利要求1所述的机械手系统，其特征在于，
上述基准标记的周围是具有能够判别出上述基准标记的亮度差的单色区域。
3.根据权利要求2所述的机械手系统，其特征在于，
上述单色区域比在上述摄影图像中基于上述移动部的移动而产生的移动区域大。
4.根据权利要求1至3中任意一项所述机械手系统，其特征在于，
还具有对所取得的上述图像中包含的上述基准标记进行视觉确认的视觉确认机构。
5.根据权利要求1至4中任意一项所述机械手系统，其特征在于，
上述基准标记具有多个，并且各个的位置为已知。
6.一种机械手控制装置，其特征在于，具备：
具有移动部的机械手；
设置在上述移动部的摄影机构；
输入拍摄有目标物和基准标记的摄影图像、即将上述基准标记拍摄成轨迹像的摄影图像的输入机构；
从被输入的上述摄影图像中提取抽出上述轨迹像的提取机构；
将提取出的上述轨迹像作为点像分布函数，通过使用了上述点像分布函数的图像转换，从上述摄影图像中取得转换后的图像的图像取得机构；
根据取得的上述图像计算出上述目标物的位置的计算机构；和
根据计算出的上述位置，对用于使上述移动部向上述目标物移动的上述机械手进行控制的控制机构。
7.一种机械手控制方法，其特征在于，具备：
机械手所具有的移动部的移动目的地的目标物；
设置在上述移动部的摄影机构；
基准标记；
输入上述目标物和上述基准标记被一起摄影的摄影图像、即输入通过上述摄影机构在上述移动部的移动中进行摄影而将上述基准标记拍摄成轨迹像的上述摄影图像的步骤；
从被输入的上述摄影图像中提取出上述轨迹像的步骤；
将提取出的上述轨迹像作为点像分布函数，通过使用了上述点像分布函数的图像转换，从上述摄影图像复原转换后的图像的步骤；
根据复原后的上述图像计算出上述目标物的位置的步骤；和
根据计算出的上述位置，对用于使上述移动部向上述目标物移动的上述机械手进行控制步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008286224A JP5233601B2 (ja) | 2008-11-07 | 2008-11-07 | ロボットシステム、ロボット制御装置およびロボット制御方法 |
| JP2008-286224 | 2008-11-07 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410102791.9A Division CN103921276A (zh) | 2008-11-07 | 2009-11-06 | 机械手系统、机械手控制装置以及机械手控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101733755A true CN101733755A (zh) | 2010-06-16 |
| CN101733755B CN101733755B (zh) | 2014-10-01 |
Family
ID=42165260
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410102791.9A Pending CN103921276A (zh) | 2008-11-07 | 2009-11-06 | 机械手系统、机械手控制装置以及机械手控制方法 |
| CN200910220824.9A Expired - Fee Related CN101733755B (zh) | 2008-11-07 | 2009-11-06 | 机械手系统、机械手控制装置以及机械手控制方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410102791.9A Pending CN103921276A (zh) | 2008-11-07 | 2009-11-06 | 机械手系统、机械手控制装置以及机械手控制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US8315455B2 (zh) |
| JP (1) | JP5233601B2 (zh) |
| CN (2) | CN103921276A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508495A (zh) * | 2011-09-28 | 2012-06-20 | 三一重工股份有限公司 | 一种控制执行臂末端运动的方法及控制系统 |
| CN102896630A (zh) * | 2011-07-25 | 2013-01-30 | 索尼公司 | 机器人装置及其控制方法、计算机程序以及机器人系统 |
| CN104019743A (zh) * | 2014-06-06 | 2014-09-03 | 清华大学深圳研究生院 | 机械手位姿精度测试系统 |
| CN104227722A (zh) * | 2013-06-17 | 2014-12-24 | 佳能株式会社 | 机器人系统与机器人控制方法 |
| CN104889973A (zh) * | 2014-03-07 | 2015-09-09 | 精工爱普生株式会社 | 机械手、机械手系统、控制装置以及控制方法 |
| CN106476035A (zh) * | 2015-08-24 | 2017-03-08 | 广明光电股份有限公司 | 机器手臂及其教导方法 |
| CN108393891A (zh) * | 2017-02-06 | 2018-08-14 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102008032509A1 (de) * | 2008-07-10 | 2010-01-14 | Epcos Ag | Heizungsvorrichtung und Verfahren zur Herstellung der Heizungsvorrichtung |
| KR101581197B1 (ko) * | 2009-01-06 | 2015-12-30 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
| US20110295408A1 (en) * | 2010-05-27 | 2011-12-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Process for positioning a workpiece |
| JP5849403B2 (ja) * | 2011-02-15 | 2016-01-27 | セイコーエプソン株式会社 | ロボットコントローラー、ロボット、及び、ロボットシステム |
| JP2012232370A (ja) * | 2011-04-28 | 2012-11-29 | Seiko Epson Corp | ロボットコントローラー、簡易設置型ロボット、及び簡易設置型ロボットの制御方法 |
| JP2013005258A (ja) * | 2011-06-17 | 2013-01-07 | Panasonic Corp | ブレ補正装置、ブレ補正方法及び帳票 |
| BR112014005451B1 (pt) * | 2011-09-13 | 2021-11-09 | Koninklijke Philips N.V. | Sistema de registro |
| US20130119040A1 (en) * | 2011-11-11 | 2013-05-16 | Lincoln Global, Inc. | System and method for adaptive fill welding using image capture |
| WO2014155814A1 (ja) * | 2013-03-27 | 2014-10-02 | 富士フイルム株式会社 | 撮像装置、キャリブレーション方法、プログラム及び記録媒体 |
| CN104704807B (zh) * | 2013-03-28 | 2018-02-02 | 富士胶片株式会社 | 图像处理装置、摄像装置及图像处理方法 |
| US9675419B2 (en) | 2013-08-21 | 2017-06-13 | Brachium, Inc. | System and method for automating medical procedures |
| CN104551291A (zh) * | 2013-10-21 | 2015-04-29 | 泰科电子(上海)有限公司 | 自动焊接系统 |
| GB2532267A (en) * | 2014-11-14 | 2016-05-18 | Nat Oilwell Varco Norway As | A method for placing and removing pipe from a finger rack |
| KR101610148B1 (ko) * | 2014-11-17 | 2016-04-08 | 현대자동차 주식회사 | 차체 검사 시스템 및 방법 |
| DE102015205738A1 (de) * | 2015-03-30 | 2016-10-06 | Carl Zeiss Industrielle Messtechnik Gmbh | Bewegungsmesssystem einer Maschine und Verfahren zum Betreiben des Bewegungsmesssystems |
| JP6276734B2 (ja) * | 2015-07-22 | 2018-02-07 | 矢崎総業株式会社 | 検査装置及び検査方法 |
| CN105132957B (zh) * | 2015-09-17 | 2017-08-29 | 中国环境科学研究院 | 一种锌电解过程重金属水污染物源削减成套技术方法 |
| CN105395295B (zh) * | 2015-11-24 | 2017-05-10 | 张海钟 | 一种用于口腔和牙齿治疗的机器人系统 |
| JP6710946B2 (ja) * | 2015-12-01 | 2020-06-17 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
| JP2017189856A (ja) | 2016-04-15 | 2017-10-19 | オムロン株式会社 | アクチュエータ制御システム、アクチュエータ制御方法、情報処理プログラム、および記録媒体 |
| CN106197975B (zh) * | 2016-07-01 | 2019-06-21 | 深圳市优必选科技有限公司 | 一种关节连接可靠性测试方法 |
| WO2018198680A1 (ja) * | 2017-04-27 | 2018-11-01 | 三菱電機株式会社 | 画像読み取り装置 |
| US20190226287A1 (en) * | 2017-05-11 | 2019-07-25 | National Oilwell Varco Norway As | System and method for placing pipe in and removing pipe from a finger rack |
| US11358290B2 (en) * | 2017-10-19 | 2022-06-14 | Canon Kabushiki Kaisha | Control apparatus, robot system, method for operating control apparatus, and storage medium |
| US11154375B2 (en) | 2018-02-02 | 2021-10-26 | Brachium, Inc. | Medical robotic work station |
| US10777318B2 (en) * | 2018-08-13 | 2020-09-15 | Biosense Webster (Israel) Ltd. | Physician related selective data compression |
| JP6978457B2 (ja) | 2019-02-28 | 2021-12-08 | ファナック株式会社 | 情報処理装置および情報処理方法 |
| JP6997123B2 (ja) * | 2019-02-28 | 2022-02-03 | ファナック株式会社 | 情報処理装置および情報処理方法 |
| JP6978456B2 (ja) | 2019-02-28 | 2021-12-08 | ファナック株式会社 | 情報処理装置および情報処理方法 |
| US11472036B2 (en) * | 2019-12-23 | 2022-10-18 | Intrinsic Innovation Llc | Reducing motion blur for robot-mounted cameras |
| JP7313310B2 (ja) * | 2020-03-31 | 2023-07-24 | 日本碍子株式会社 | セラミックス製の柱状ハニカム構造体の検査方法及び検査装置 |
| KR102619814B1 (ko) * | 2021-10-13 | 2024-01-03 | (주)나임기술 | 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0411471A (ja) * | 1990-04-29 | 1992-01-16 | Canon Inc | 動き検出装置 |
| WO1993015376A1 (en) * | 1992-01-30 | 1993-08-05 | Fujitsu Limited | System for recognizing and tracking target mark, and method therefor |
| JP2001246582A (ja) * | 2000-02-29 | 2001-09-11 | Mitsubishi Heavy Ind Ltd | 作業用ロボット装置 |
| US6317953B1 (en) * | 1981-05-11 | 2001-11-20 | Lmi-Diffracto | Vision target based assembly |
| US20040170315A1 (en) * | 2002-12-27 | 2004-09-02 | Olympus Corporation | Calibration apparatus, calibration method, program for calibration, and calibration jig |
| CN1727839A (zh) * | 2004-07-28 | 2006-02-01 | 发那科株式会社 | 机器人系统中再校准三维视觉传感器的方法和设备 |
| US20060125938A1 (en) * | 2002-06-21 | 2006-06-15 | Moshe Ben-Ezra | Systems and methods for de-blurring motion blurred images |
| CN101071276A (zh) * | 2006-05-09 | 2007-11-14 | Asml荷兰有限公司 | 位移测量系统、光刻设备、位移测量方法和装置制造方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628469A (ja) * | 1992-07-06 | 1994-02-04 | Olympus Optical Co Ltd | 劣化像修復システム |
| JP2903964B2 (ja) * | 1993-09-29 | 1999-06-14 | 株式会社デンソー | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 |
| US6681151B1 (en) * | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
| JP4370780B2 (ja) | 2002-12-25 | 2009-11-25 | 株式会社ニコン | ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム |
| JP2005354157A (ja) * | 2004-06-08 | 2005-12-22 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| JP4415188B2 (ja) | 2004-08-09 | 2010-02-17 | カシオ計算機株式会社 | 画像撮影装置 |
| JP4985062B2 (ja) | 2006-04-14 | 2012-07-25 | 株式会社ニコン | カメラ |
| JP2008011424A (ja) | 2006-06-30 | 2008-01-17 | Eastman Kodak Co | 画像処理装置及び画像処理プログラム |
| JP5222472B2 (ja) * | 2006-07-14 | 2013-06-26 | イーストマン コダック カンパニー | 画像処理装置、画像復元方法およびプログラム |
| US8036481B2 (en) * | 2006-07-14 | 2011-10-11 | Eastman Kodak Company | Image processing apparatus and image restoration method and program |
| JP2008058546A (ja) | 2006-08-30 | 2008-03-13 | Nikon Corp | 検出装置、補正装置、カメラ、及びプログラム |
| US20080100716A1 (en) | 2006-11-01 | 2008-05-01 | Guoyi Fu | Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data |
| JP5200866B2 (ja) * | 2008-11-06 | 2013-06-05 | セイコーエプソン株式会社 | ロボットシステム、ロボット制御装置およびロボット制御方法 |
| JP2010162630A (ja) * | 2009-01-14 | 2010-07-29 | Seiko Epson Corp | 撮像方法、ピッキング方法及びピッキング装置 |
-
2008
- 2008-11-07 JP JP2008286224A patent/JP5233601B2/ja not_active Expired - Fee Related
-
2009
- 2009-11-02 US US12/610,523 patent/US8315455B2/en not_active Expired - Fee Related
- 2009-11-06 CN CN201410102791.9A patent/CN103921276A/zh active Pending
- 2009-11-06 CN CN200910220824.9A patent/CN101733755B/zh not_active Expired - Fee Related
-
2012
- 2012-10-15 US US13/651,707 patent/US8666141B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6317953B1 (en) * | 1981-05-11 | 2001-11-20 | Lmi-Diffracto | Vision target based assembly |
| JPH0411471A (ja) * | 1990-04-29 | 1992-01-16 | Canon Inc | 動き検出装置 |
| WO1993015376A1 (en) * | 1992-01-30 | 1993-08-05 | Fujitsu Limited | System for recognizing and tracking target mark, and method therefor |
| JP2001246582A (ja) * | 2000-02-29 | 2001-09-11 | Mitsubishi Heavy Ind Ltd | 作業用ロボット装置 |
| US20060125938A1 (en) * | 2002-06-21 | 2006-06-15 | Moshe Ben-Ezra | Systems and methods for de-blurring motion blurred images |
| US20040170315A1 (en) * | 2002-12-27 | 2004-09-02 | Olympus Corporation | Calibration apparatus, calibration method, program for calibration, and calibration jig |
| CN1727839A (zh) * | 2004-07-28 | 2006-02-01 | 发那科株式会社 | 机器人系统中再校准三维视觉传感器的方法和设备 |
| CN101071276A (zh) * | 2006-05-09 | 2007-11-14 | Asml荷兰有限公司 | 位移测量系统、光刻设备、位移测量方法和装置制造方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102896630A (zh) * | 2011-07-25 | 2013-01-30 | 索尼公司 | 机器人装置及其控制方法、计算机程序以及机器人系统 |
| CN102896630B (zh) * | 2011-07-25 | 2016-06-01 | 索尼公司 | 机器人装置及其控制方法、计算机程序以及机器人系统 |
| CN102508495A (zh) * | 2011-09-28 | 2012-06-20 | 三一重工股份有限公司 | 一种控制执行臂末端运动的方法及控制系统 |
| CN102508495B (zh) * | 2011-09-28 | 2014-09-10 | 三一重工股份有限公司 | 一种控制执行臂末端运动的方法及控制系统 |
| CN104227722A (zh) * | 2013-06-17 | 2014-12-24 | 佳能株式会社 | 机器人系统与机器人控制方法 |
| US9393696B2 (en) | 2013-06-17 | 2016-07-19 | Canon Kabushiki Kaisha | Robot system and robot control method |
| CN104889973A (zh) * | 2014-03-07 | 2015-09-09 | 精工爱普生株式会社 | 机械手、机械手系统、控制装置以及控制方法 |
| CN104019743A (zh) * | 2014-06-06 | 2014-09-03 | 清华大学深圳研究生院 | 机械手位姿精度测试系统 |
| CN106476035A (zh) * | 2015-08-24 | 2017-03-08 | 广明光电股份有限公司 | 机器手臂及其教导方法 |
| CN106476035B (zh) * | 2015-08-24 | 2021-07-27 | 达明机器人股份有限公司 | 机器手臂及其教导方法 |
| CN108393891A (zh) * | 2017-02-06 | 2018-08-14 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100119146A1 (en) | 2010-05-13 |
| CN101733755B (zh) | 2014-10-01 |
| JP5233601B2 (ja) | 2013-07-10 |
| CN103921276A (zh) | 2014-07-16 |
| US8666141B2 (en) | 2014-03-04 |
| US20130039541A1 (en) | 2013-02-14 |
| JP2010112859A (ja) | 2010-05-20 |
| US8315455B2 (en) | 2012-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101733755B (zh) | 机械手系统、机械手控制装置以及机械手控制方法 | |
| CN108297096B (zh) | 校准装置、校准方法以及计算机能够读取的介质 | |
| CN112109075B (zh) | 控制系统和控制方法 | |
| US20200061837A1 (en) | Method for industrial robot commissioning, industrial robot system and control system using the same | |
| JP3173042B2 (ja) | ロボットの数値制御装置 | |
| EP2684651A2 (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
| Tamadazte et al. | A direct visual servoing scheme for automatic nanopositioning | |
| JP2009083095A (ja) | ロボット装置の制御方法及びロボット装置 | |
| JP2016185572A (ja) | ロボット、ロボット制御装置およびロボットシステム | |
| JP2019089188A (ja) | 作動システムおよびプログラム | |
| JP2003211381A (ja) | ロボット制御装置 | |
| CN109648568B (zh) | 机器人控制方法、系统及存储介质 | |
| CN110238820A (zh) | 基于特征点的手眼标定方法 | |
| JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
| CN112809668A (zh) | 一种机械臂自动手眼标定的方法及系统、终端 | |
| CN107507133B (zh) | 一种基于圆管作业机器人的实时图像拼接方法 | |
| CN109945780A (zh) | 物体检查系统以及物体检查方法 | |
| JP2010112731A (ja) | ロボットの座標の結合方法 | |
| KR20130075712A (ko) | 레이저비전 센서 및 그 보정방법 | |
| CN113858214A (zh) | 一种用于机器人作业的定位方法与控制系统 | |
| Tamadazte et al. | Highly precise micropositioning task using a direct visual servoing scheme | |
| EP3946825A1 (en) | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system | |
| JP2012236266A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
| CN116423525B (zh) | 一种自动手眼标定方法及系统、存储介质 | |
| CN112643718B (zh) | 图像处理设备及其控制方法和存储其控制程序的存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141001 Termination date: 20171106 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |