CN101231521B - 操作定位系统、操作单元、方法、产品制造方法和标记 - Google Patents
操作定位系统、操作单元、方法、产品制造方法和标记 Download PDFInfo
- Publication number
- CN101231521B CN101231521B CN2007103053195A CN200710305319A CN101231521B CN 101231521 B CN101231521 B CN 101231521B CN 2007103053195 A CN2007103053195 A CN 2007103053195A CN 200710305319 A CN200710305319 A CN 200710305319A CN 101231521 B CN101231521 B CN 101231521B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- operating position
- unit
- signal
- finishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims description 79
- 239000003550 marker Substances 0.000 title 1
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 18
- 238000002310 reflectometry Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010977 unit operation Methods 0.000 claims description 3
- 230000001143 conditioned effect Effects 0.000 claims 1
- 238000004148 unit process Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 23
- 238000003860 storage Methods 0.000 description 16
- 239000000463 material Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 238000003466 welding Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003014 reinforcing effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000005476 soldering Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- LTXREWYXXSTFRX-QGZVFWFLSA-N Linagliptin Chemical group N=1C=2N(C)C(=O)N(CC=3N=C4C=CC=CC4=C(C)N=3)C(=O)C=2N(CC#CC)C=1N1CCC[C@@H](N)C1 LTXREWYXXSTFRX-QGZVFWFLSA-N 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000007767 bonding agent Substances 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31027—Computer assisted manual assembly CAA, display operation, tool, result
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37567—3-D vision, stereo vision, with two cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
- Y10T29/00—Metal working
- Y10T29/49—Method of mechanical manufacture
- Y10T29/49764—Method of mechanical manufacture with testing or indicating
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
- Y10T29/00—Metal working
- Y10T29/49—Method of mechanical manufacture
- Y10T29/49764—Method of mechanical manufacture with testing or indicating
- Y10T29/49769—Using optical instrument [excludes mere human eyeballing]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Factory Administration (AREA)
- Automatic Assembly (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Numerical Control (AREA)
Abstract
一种操作定位系统、操作单元、方法、产品制造方法和标记。该操作定位系统在产品制造过程中在产品上定位操作位置,产品制造过程包含使用工具待执行的一个或多个操作。该系统包括:操作完成坐标检测单元和操作位置定位单元。操作完成坐标检测单元处理多个图像,所述多个图像通过从多个视点拍摄包含操作完成位置的范围而获得,其中操作完成位置为操作完成时完成该操作的位置,从而检测用以表示操作完成位置的一组操作完成坐标。操作位置定位单元获取关于一个或多个操作中每一个操作的一组操作坐标,其中所述操作坐标表示作为待执行操作的位置的操作位置,并基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与操作完成位置对应的操作位置。
Description
技术领域
本发明涉及在产品的制造过程中执行的操作定位技术。
背景技术
在需要工人执行多个操作的产品制造过程中,常常会出现工人忘记操作或没有完成操作的错误操作的情况。例如,在大型电子设备单元的制造过程中,印刷电路板单元、通信设备单元等包括部件的组装过程,并且组装过程包括用于将一个部件连接至另一部件的多个拧螺丝操作。在组装过程中,常常在加固操作中出现错误操作。
错误操作的实例有:在达到螺丝的指定扭矩之前停止加固操作,在一临时加固操作之后忘记完成加固操作,忘记将螺丝放在要执行加固操作的位置等。由于存在各种类型的错误操作,所以存在考虑到不同情况采取的措施,以减少错误操作。
例如,为了用指定扭矩固定螺丝,采用一种称为扭矩驱动器的设备是有效的,其被设计用以在检测到所施加的扭矩达到指定扭矩时开始空载运行(idle running)。该设备可由工人在组装过程中或由机器人在组装过程中使用。专利文献1公开了一种由机器人执行的用于组装过程的螺纹紧固设备(即,攻丝设备)。螺纹紧固设备被固定在机器人的手上,并通过识别图像来检测螺丝孔的坐标。当机器人控制器基于该坐标校正机器人的位置时,螺纹紧固设备驱动扳手,并上紧螺丝,同时监控施加的扭矩和驱动时间。
为了减少忘记待执行操作的错误操作,通常存在例如螺丝计数器、电子隔板等的操作工具。通过使用这些操作工具,能够比较待执行的操作数目和实际执行的操作数目,从而检测是否忘记操作。然而,不可能仅通过比较数目就能具体确定忘记了哪个操作。因此,当根据比较数目的结果检测到不一致时,需要从视觉上确定已经忘记拧螺丝操作的位置。目前,即使使用这些操作工具也仍然存在许多错误操作。结果,常常会出现需要在制造过程中检查和维修的有缺陷的产品。
因此,在由工人通过多个操作执行制造过程中,忘记操作是一个严重问题。专利文献2描述了一种用于解决上述问题的工作质量控制系统。在这一工作质量控制系统中,多个接收器接收由连接至扳手顶部的超声波发射器发出的信号。基于信号传播时间差和接收器之间的位置关系,对发射器的位置定位。由于将多个接收器设置为使得它们与待组装的工件保持的预定相对位置,所以基于固定的相对位置之间的关系根据发射器的位置检测被固定螺丝的位置。共同管理位置信息和紧固信息,所述位置信息用以表示上述检测的被固定螺丝的位置,所述紧固信息用以表示在实际施加的扭矩与指定扭矩之间的比较结果。
[专利文献1]日本公开专利申请No.H6-23631
[专利文献2]日本公开专利申请No.2004-258855
然而,在专利文献2所述的系统中存在以下两个问题。
第一个问题是必需将超声波信号或无线信号的发射器附着至工具。由于发射器需要更多电能所以这种必需会产生如下问题,即向发射器提供电能的布线对操作造成阻碍,和/或发射器不能连接至某些类型的现有工具上。对于在现有制造过程中减少制造过程中忘记易被实施的操作的发明是非常重要的。
第二个问题是基于这样的假设,即预先确定在工件和接收器之间的位置关系是固定的。在产品制造过程中,存在许多在制造期间产品的位置和方向并非预先确定的处理步骤。在某些处理步骤中,产品的位置和方向是不确定的,除非由于包括工人的方便等各种原因导致执行实用操作的情况。在一种处理包括多个操作的情况下,可以根据每一操作在不同位置或方向执行该处理。
发明内容
本发明的目的在于提供一种在被执行操作的产品上定位的操作位置定位系统,具体地提供一种至少具有以下至少一个特征的操作位置定位系统,即一特征在于不需要信号发射器,以及一特征在于可在动态改变产品的位置或方向的情况下应用该系统。
本发明的另一目的在于提供一种使用该操作位置定位系统的操作单元、一种在产品制造过程中执行该操作位置定位系统的方法、以及一种指示计算机执行该方法的程序。在实施例中还提供一种在操作位置定位系统中优选使用的标记。
根据本发明第一方案的实施例的操作位置定位系统定位产品上的位置,其中在包括使用工具待执行的一个或多个操作的产品制造过程中,在该产品上执行操作。该操作位置定位系统包括操作完成坐标检测单元和操作位置定位单元。
完成信号接收单元,接收所述工具的完成信号,其中所述完成信号表示完成了使用所述工具的操作;
操作完成坐标检测单元,处理多个图像,所述多个图像是在接收到所述完成信号时通过从多个视点拍摄包含操作完成位置的范围而获得的(其中所述操作完成位置为完成该操作的位置),从而检测表示所述操作完成位置的一组操作完成坐标。
操作位置定位单元获取关于一个或多个操作中每一个操作的一组操作坐标,其中所述操作坐标表示作为待执行操作的位置的操作位置,并基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与所述操作完成位置对应的操作位置。
根据第一方案的实施例中的操作位置定位系统,通过图像处理来检测操作完成位置,从而不需要向工具提供信号发射器。
根据本发明第二方案实施例的操作位置定位系统在产品制造过程中在产品定位的操作位置,其中所述产品制造过程包括使用工具待执行的一个或多个操作。该操作位置定位系统包括操作完成坐标检测单元、参数确定单元和操作位置定位单元。
完成信号接收单元,接收所述工具的完成信号,其中所述完成信号表示完成了使用所述工具的操作;
操作完成坐标检测单元,用于基于对所述完成信号的接收而检测一组操作完成坐标,其中由第一坐标系统表示作为完成该操作的位置的操作完成位置。
参数确定单元,用于基于对所述完成信号的接收而检测由第一坐标系统表示的关于该产品或与该产品具有预定位置关系的对象的位置和方向,从而确定在所述第一坐标系统与所述第二坐标系统之间进行坐标转换所需的参数值。
操作位置定位单元用于获取关于一个或多个操作中每一个操作的一组操作坐标,在所述操作坐标中由所述第二坐标系统表示作为要执行操作的位置的操作位置,使用参数转换坐标,以由同一坐标系统表示所述操作完成位置和所述操作位置,以及定位与所述操作完成位置对应的操作位置。
根据第二方案的实施例中的操作位置定位系统,即使在产品制造过程中正被制造的产品的位置和方向动态地改变,也能够定位与操作完成位置对应的操作位置。
本发明还可以实施为使用根据本发明第一或第二方案实施例中的操作位置定位系统的操作单元、在根据本发明第一或第二方案实施例中的产品制造过程中的操作位置定位系统中执行的方法或用于使得计算机执行该方法的程序。
附图说明
根据上述操作位置定位系统,能够在产品上定位已经执行了操作的位置。
因此,通过使用操作位置定位系统的定位结果,已实际执行的操作可以与待执行操作中还没有执行操作区分。因此,在制造过程中可自动检查是否存在遗漏操作。从而,可降低在制造过程之后用于操作指令步骤和待执行的检测处理步骤的工时数目。此外,由于可降低因忘记操作而造成的残品发生频率,所以还可以提高制造产量。
图1是示出根据用以实现本发明的操作位置定位系统的方案的结构功能框图;
图2示出包含操作位置定位系统的工件组装线的结构;
图3是示出操作单元(cell)中的过程流程的示意图;
图4是根据用以实现本发明的方案的操作单元结构的透视图;
图5示出与操作位置的定位相关的电子设备的连接关系图;
图6是示出通过放大图4的一部分而获得的局部示意图和透视图;
图7是示出根据用以实现本发明的方案的处理流程的流程图;
图8是示出3个检测标记的位置关系的示意图;
图9示出标记的排列图案的实例示图;
图10是说明根据标记坐标计算驱动器顶部坐标的方法的示意图;
图11示出操作监控器的显示屏幕的实例示图;
图12示出附着至操作台的标记的实例示图;
图13A示出附着至驱动器的标记的实例示图;和
图13B示出附着至驱动器的标记的实例示图。
具体实施方式
以下参照附图详细描述实现本发明的方式。以下主要描述在组装印刷电路板时用于拧螺丝操作的实施例,但是显然地,本发明的实施例不限于产品的类型,或本发明实施例所使用的操作。
图1是根据实现本发明的操作位置定位系统的方式的功能框图。在本实施例中,在包括使用工具待执行的一个或多个操作的产品制造过程中,通过在执行操作的产品上定位位置来区别实际已执行的操作和待执行的操作。
当完成一个操作时,完成信号输出单元1输出完成信号,并且操作完成坐标检测单元2接收该完成信号。在以下描述中,完成该操作的位置称为“操作完成位置”,并且由确定的球形第一坐标系统表示操作完成位置的坐标称为“操作完成坐标”。在该实施例中,由于第一坐标系统是三维坐标系统,所以由三个操作完成坐标作为一组坐标表示操作完成位置。
更具体地,操作完成位置指的是在完成操作时该操作的目标位置。例如,拧螺丝操作的目标是螺丝,在完成该操作时的螺丝位置是操作完成位置。为了更加正确,操作完成位置是预先确定为表示螺丝代表性位置的螺丝指定点的位置。当执行加固操作时,驱动器的顶部接触该螺丝,所以操作完成位置也是在操作完成时工具接触操作目标的位置。
由于传播完成信号所需的时间较短可被忽略而不会产生任何问题,所以在操作完成坐标检测单元2接收到完成信号时将正被执行操作的位置看作操作完成位置。操作完成坐标检测单元2在接收到完成信号时检测操作完成坐标。
在用于实现本发明的目前方式中,在图像识别过程中检测附着到工具的标记的位置,并根据标记的位置计算操作完成坐标,从而检测操作完成坐标。标记可以由树脂或橡胶制成,并且可容易地用粘合剂附着在工具上。在图像识别过程中,使用从多个不同视点拍摄的多个图像。这些图像是拍摄包含操作完成位置的范围的图像。典型地,使用两个图像,并基于立体视觉原理计算操作完成坐标。
应执行每一操作的位置是预定的。以下,将该位置称为“操作位置”。更具体地,由基于产品的局部第二坐标系统表示的操作位置的坐标根据待生产的产品预先确定。以下,该坐标称为“操作坐标”。在该实施例中,由于第二坐标系统也是三维坐标系统,所以由三个操作坐标作为一组坐标表示操作位置。
操作坐标在设计产品时被确定,并表示没有错误的理想位置,即名义位置(nominal position)。在实际操作中可伴随有错误,并且可以在从操作位置稍微偏移的位置执行实际操作。
操作坐标存储单元3存储每一操作的一组操作坐标。具体地,在该实施例中,在操作坐标存储单元3中存储每一操作的包含三个操作坐标的每一组操作坐标。操作坐标也可以预先存储在操作坐标存储单元3中,以及在必要时从外部提供并存储在操作坐标存储单元3中。
参数确定单元4检测产品或与产品具有预定位置关系的对象(例如操作台等)的由第一坐标系统表示的位置和方向,并确定在第一坐标系统和第二坐标系统之间进行坐标转换所需的参数值。所述坐标转换可以是从第一坐标系统中的坐标到第二坐标系统中的坐标的转换,或者可以是相反的转换,即从第二坐标系统到第一坐标系统的转换。然而,如随后所述前者更有效并且是优选的。
操作位置定位单元5使用由参数确定单元4确定的参数执行坐标转换,以在同一坐标系统中表示操作完成位置和操作位置,并定位(即,识别)与操作完成位置对应的操作位置。
例如,在实现将第一坐标系统中的坐标转换为第二坐标系统中的坐标的本发明的方案中,通过操作位置定位单元5将操作完成坐标检测单元2检测到的操作完成坐标转为第二坐标系统中的坐标。操作位置定位单元5从操作坐标存储单元3中读取第二坐标系统中表示的操作坐标,并基于所读取的操作坐标和转换结果来定位与操作完成位置对应的操作位置。
在操作位置定位单元5将第二坐标系统中的坐标转换为第一坐标系统中的坐标的情况下,显然操作位置定位单元5可以以类似的方法定位与操作完成位置对应的操作位置。
通过上述配置,每当完成操作时,动态计算用以表示第一坐标系统与第二坐标系统之间关系的参数。因此,即使在执行实际操作时产品的位置和方向发生动态改变,也可以在同一坐标系统中表示操作位置和操作完成位置并将它们进行比较。从而可定位与完成操作对应的操作位置。结果,能够在待执行的操作中识别出已完成的操作。
图2示出包含操作位置定位系统的工件组装线的结构。图2中所示的每一方框是功能框。
通过工件组装线100来组装待制造的产品。工件组装线100包括多个操作单元101至104。产品组装过程的一个处理步骤对应于一个操作单元。
以下,将正被组装的产品称为“工件”。将工件依次提供给操作单元101、102、103和104。为每一操作单元预先分配对工件待执行的一个或多个操作。即,一个处理步骤包括一个或多个预定操作。所述操作可以是例如拧螺丝操作。负责每一操作单元的工人执行一个分配操作(或多个分配操作),并且在完成组装操作单元中的一个(或多个)操作时,工人将工件提供给下一操作单元。在另一实施例中,可以用机器(例如机器人)代替工人。
由上层中的主机系统105管理工件组装线100的每一处理步骤。主机系统105管理每一工件的进展情况,即工件在哪个操作单元中被处理,以及在该操作单元的待完成的操作中已经完成哪个操作。从每一操作单元将关于进展情况的数据发送至主机系统105。当制造多个产品时,主机系统105也管理整个进展情况,包括要制造的产品的数目、已完成产品的数目和每一未完成工件的进展情况。
多个操作单元101至104的操作内容不同,但是它们的基本结构相同。在图2中,放大并详细示出操作单元103。
在操作单元103中,工人使用配置有完成信号产生工具110的工具对工件操作区域111中的工件执行预定操作。在操作完成时,完成信号产生工具110产生信号,并且完成信号产生工具110是图1中所示的完成信号输出单元1的应用实例。对于工件操作区域111可配置有操作台。
完成信号可以是能够表示完成操作时间的任何信号。例如,完成信号可以是电信号、超声波信号和光信号中的任一种,并且可以由线缆或无线发送。既然将完成信号的接收时间看作完成操作的时间不会产生任何问题,且由于在完成操作时产生的任一信号可用作完成信号,所以完成信号可以是简单脉冲或用以表示日期和时间的数据的信号或意味着“完成”的信号。无论完成信号是什么,在接收到完成信号时执行下一处理,即由位置检测单元112执行的处理。
位置检测单元112包括:操作完成坐标检测单元2、操作坐标存储单元3、参数确定单元4和操作位置定位单元5,如图1所示。位置检测单元112从完成信号产生工具110接收完成信号,并在接收到完成信号时检测操作完成坐标,计算坐标转换参数,和定位与完成操作对应的操作位置。计算单元113结合在操作单元103中处理的数据,并在操作单元103和主机系统105之间发送和接收的数据。
显示单元114为工人显示各种类型的信息。词语“显示”包含视频和音频显示。即,显示单元114可以是例如液晶显示器、扬声器及其组合的显示装置。由显示单元114显示的信息包括对待执行操作的指导、与由位置检测单元112定位的操作位置相关的操作信息、操作进展情况等。
图3是示出操作单元中的过程流程的示意图。在图3中,与图2类似,描述了操作单元103的情况。
如步骤S1所示,主机系统105在工件组装线100的操作期间持续执行各种处理。另一方面,在操作单元103中,对于在操作单元103中待执行的N(N≥1)个操作中的每一个操作按步骤S2、S3、S4和S 5的顺序执行其中的处理。即,步骤S2至S5的循环被重复执行N次。在步骤S2的运行时间期间,在操作单元103和主机系统105之间发送和接收信息。更具体地,在下面描述图3的处理流程。
当从执行紧接在前的处理的操作单元102向执行当前处理的操作单元102传送工件时,在步骤S2,计算单元113从主机105接收操作信息的数据。所述“操作信息”指的是与操作单元103中要执行的一个(或多个)操作相关的信息。操作信息包括如下预定信息,例如在操作单元103中要执行的操作个数N(N≥1)、N个操作中的每个操作的操作位置和类型等。由第二坐标系统中的操作坐标组(例如三个操作坐标作为一组)表示操作位置,并且操作类型可以是拧螺丝操作、焊接操作等。
当在某一工件上首先执行步骤S2时,计算单元113可产生含有“没有完成N个操作中的任一个”的内容的处理信息,并将其发送至主机系统105。所述“处理信息”指的是表示操作单元103中的一个(或多个)操作的进展情况的信息。处理信息包括例如关于已经完成了N个操作中的哪个操作的信息。在步骤S中的第二个和随后的操作中,计算单元113将关于之前已经完成哪个操作的信息发送至主机系统105。
在步骤S2中,计算单元113还基于更新的操作信息和处理信息将指示发送给显示单元114,以使用语音、字符、图片等显示由工人待执行的操作的指导。因此,计算单元113执行与操作单元103中的操作相关的各种控制。步骤S3是由显示单元114根据给定指令执行的显示步骤。
接下来,在步骤S4中,工人根据由显示单元114显示的指导指令执行操作。由于用以实现本发明的本方式是处理工件组装线100,所以由工人进行的操作是组装操作,并且实际上例如是拧螺丝操作。当完成一个操作时,用于操作的设备的完成信号产生工具110产生完成信号。完成信号表示已经完成一个操作的信息。
位置检测单元112监控完成信号的产生。在步骤S5,位置检测单元112接收完成信号,并且在接收到该信号时检测操作完成坐标,确定用于坐标转换的参数,执行坐标转换,并定位操作位置。如上所述,由计算单元113从主机系统105接收的操作信息包括N个操作中的每个操作的操作坐标组。因此,位置检测单元112从计算单元113接收操作坐标的数据,并引用该数据,从而定位操作位置。
然后,位置检测单元112将与操作位置已经被定位的操作相关的信息发送至计算单元113。在以下的描述中,关于实际执行的操作的信息还被称为“操作信息”。在步骤S5,从位置检测单元112发送至计算单元113的操作信息可以是例如作为标识每一操作的标识符的序号(S/N)、作为操作完成时间的完成信号的接收时间等。
在步骤S5之后,控制返回至步骤S2。对操作位置的定位是为了识别在N个操作中已经执行了哪个操作。因此,完成一个操作对应于进展情况的改变。因此,在从位置检测单元112接收到操作信息时,在步骤S2,计算单元113根据接收到的操作信息更新处理信息,并将更新的处理信息发送至显示单元114和主机系统105。
如果更新的处理信息表明在操作单元103中的所有要执行的N个操作已经完成,则计算单元113指示显示单元114显示关于完成的信息。工人识别该显示,并将工件传送至在下一处理的操作单元104。否则,由于在操作单元103中还剩下一个或多个要执行的操作,所以重复上述过程。
如上所述,每当工人完成一个操作时,更新的处理信息被发送至主机系统105。如图2中的步骤S1所示,主机系统105管理整个工件组装线100,管理关于每一工件的处理信息和操作信息,执行操作的各种分析,管理由工件组装线100组装的产品质量等。
接下来,以下参照图4和图5描述操作单元103的更实际的结构实例。图4是根据用以实现本发明的方式的操作单元103的结构透视图。
由工人201管理操作单元103,其中工人201对固定在操作台203上的工件204执行一个或多个必要操作。在图4所示的实例中的工件204是印刷电路板(Pt板)单元。为了便于说明,提供以下定义。
·N表示在操作单元103的操作中要处理的操作的个数。
·所有N个操作都是由驱动器202执行的拧螺丝操作。
·驱动器202是可设定指定扭矩的动力驱动扭矩驱动器。驱动器202被配置为在实际施加的扭矩达到设定的指定扭矩时进行空转并输出完成信号。
·对于N个螺丝的拧螺丝操作分配相同的指定扭矩值,并且在驱动器202中预先设定该值。
图4示出驱动器202的两个图片。但是并不是表示有2个驱动器202,只是示出驱动器202水平放置并从侧面紧固螺丝的情况,以及驱动器202垂直设置并从上面紧固螺丝的情况。从工件204的上部指向工件204的上表面的箭头和从工件204的右侧指向工件204的右侧表面的箭头表示拧螺丝的方向。即使在附图中没有显示,显然地存在驱动器202倾斜并紧固螺丝的情况。
操作台203具有桌台和桌腿部分,并且桌腿部分配置有轮子,以使操作台203可移动。操作台203的桌台可以沿水平轴旋转,以在上表面和反面之间交换,以及可以沿垂直轴旋转,以改变方向。可移动操作台203被广泛使用,以使得即使在工件204较大的情况下,也能够便于工人201执行多个操作而不需要大幅度改变他/她的位置。
将工件204固定在操作台203的桌台。根据要制造的产品型号,预先确定固定在操作台203的桌台上的工件204的位置。因此,从操作台203的桌台的位置和方向唯一确定工件204的位置和方向。
防震相机台205位于操作台203的附近,并且两个CCD(电荷耦合器件)相机206和207放置于相机台205上。由于立体视觉原理是已知的,所以使用通过从不同位置拍摄同一对象而获得的两个图像可计算所拍摄对象的位置。可能检测区域208是操作单元103中的区域,并被定义为这样的区域,在该区域中使用CCD相机206和207通过立体视觉能够计算对象位置。
可能检测区域208的范围取决于CCD相机206和207的规格和设定位置。因此,需要根据操作台203的可移动范围适当确定CCD相机206和207的规格和设定位置,以使可能检测区域208能够恒定地包括工件204。在用于实现本发明的该方式中,将CCD相机206和207对角地设置在工件204的上方,以通过立体视觉提高位置的检测精度。图4中所示的“WD”是“工作距离”的缩写,并用于表示可由立体视觉计算的距离的范围距离。
操作单元103还包括:PC(个人计算机)209、驱动控制器210、条形码读取器211和操作监控器212。随意确定PC 209和驱动控制器210的设定位置,但是它们可设定在图4中的相机台205下面的空间中。在相机台205上设置操作监控器212,从而可由工人201容易检查显示内容,例如关于将要执行的操作的指导。
PC 209执行各种计算。PC 209是一种通用计算机,其配置有例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)、用于线缆传输和/或无线通信的通信接口、外部存储设备和便携式存储介质的驱动设备。这些组件通过总线连接。外部存储设备可以是例如磁盘设备(如硬盘驱动器等)、可重写非易失性存储器等。
驱动器控制器210通过有线或无线通信路径(图4中未示出)连接至驱动器202,并接收从驱动器202发送的信号。驱动器控制器210具有计数从驱动器202接收的信号个数的驱动器计数器的功能。
优选地,条形码读取器211是手持单元。工人201使用条形码读取器211读取工人201的ID、工件204的S/N、图号等。用以表示工人201的ID的条形码印在例如由工人201携带的职工卡上。用以表示工件204的S/N和图号的条形码印在例如在每一过程中随着工件204被传送的纸片上。上面印有条形码的纸也可以附着在工件204上。
条形码读取器211通过有线或无线路径(图4中未示出)连接至PC 209。由条形码读取器211读取的条形码所表示的数据(即工人201的ID以及工件204的S/N和图号的数据)被发送到PC 209,并从PC 209发送至主机系统105(图4中未示出)。
由于操作台203是可移动的,所以对于工人201没必要频繁改变他/她在操作单元103中的位置。因此,在以下描述中,假设在相机台205和操作台203之间没有工人201。即,假设在没有障碍暂停的情况下,在由CCD相机206和207拍摄的两个图像中认定操作台203和工件204。
以下描述图1和图4之间的对应关系。完成信号输出单元1对应于驱动器202和驱动器控制器210。操作完成坐标检测单元2对应于CCD相机206和207以及PC 209。操作坐标存储单元3对应于PC 209的RAM或外部存储设备。参数确定单元4对应于CCD相机206和207以及PC 209。操作位置定位单元5对应于PC 209。
以下描述图2和图4之间的对应关系。完成信号产生工具110对应于驱动器202和驱动器控制器210。位置检测单元112对应于CCD相机206和207以及PC 209。计算单元113对应于PC 209,而显示单元114对应于操作监控器212。
也就是说,两个功能块(即,位置检测单元112和计算单元113)共享作为硬件的PC 209。通过CPU执行在外部存储设备或ROM中存储的程序使得PC 209用作位置检测单元112和计算单元113的一部分。所述程序可通过网络提供,例如通过通信接口或互联网与PC 209连接的LAN(局域网)。否则,可在驱动设备中设置用以存储所述程序的便携式存储介质,并且可将所述程序加载到RAM,以由CPU执行。便携式存储介质可以是各种类型的存储介质,其包括光盘(例如CD(压缩盘)、DVD(数字多功能盘)等)、磁光盘、磁盘(例如软盘)等。
图5示出在图4所示的操作单元103的电子设备中与操作位置的定位相关的电子设备的连接关系。可通过线缆以及无线方式来实现图5中所示的连接关系。
CCD相机206和207、驱动器控制器210和包含用于操作监控器212的液晶显示器的各种外部设备213连接至PC 209。外部设备213还包括由工人201用于输入的键盘和鼠标。图4示出仅使用一个驱动器202的情况。如图5所示,两个驱动器202a和202b可连接至驱动器控制器210。在某些用以实现本发明的方案中,根据螺丝的类型需要使用多个驱动器。
为了保证在使用CCD相机206和207拍摄图像所必须的亮度,使用照明单元216(图4中未示出)。
在图5中所示的实例中,外部设备213、PC 209、驱动器控制器210和照明单元216连接至AC(交流电)100V的电源。通过驱动器210向驱动器202a和202b供电,以及通过PC 209向CCD相机206和207供电。用于供电的路径不限于图5中所示的结构。
如图5所示,根据用以实现本发明的本实施方式的PC 209配置有图像处理板214和IO(输入/输出)板215。由图像处理板214接收和处理由CCD相机206和207拍摄的图像数据。PC 209的CPU使用由图像处理板214处理的上述处理结果执行处理。通过驱动器控制器210将从驱动器202a和202b发送的信号发送到PC 209,并由IO板215接收。
由驱动器202a和202b发送到驱动器控制器210的信号不限于完成信号。例如,在拧螺丝操作失败时,工人201使驱动器202a或202b反转以松开螺丝。此时,驱动器202a或202b将反转通知信号发送至驱动器控制器210。然后,从驱动器控制器210将反转通知信息发送至PC 209,并由IO板215接收。在接收到反转通知信号时,PC 209执行必要处理。例如,PC 209定位与在接收到完成信号时执行的类似过程中松开和去除螺丝对应的拧螺丝操作的操作位置。
接下来,参照图6至图10,以下详细描述定位已完成操作的操作位置的过程。
图6是详细示出图4的一部分的放大图的透视图作为示意图。然而,在图6中,与图4相比,视点位于相反的位置。在图4中,示出CCD相机206和207的后面,但是它们在图6中位于前面(尽管未示出),并且表示CCD相机206的光轴221和CCD相机207的光轴222的两个箭头从前面指向后面。
如图4所示,图6示出驱动器202水平放置的情况以及垂直设置的情况。驱动器202的手柄部分配置有标记217a和217b。通过将标记217a和217b附着在预定位置或在将它们附着在适当位置之后测量附着位置来获知标记217a和217b的附着位置。在以下实例中,当不区别每一标记时,一个或多个标记由标号“217”表示。
操作台203的桌台是长方体。在以下描述中,长方体的表面被称为表面A、B、C、D、D和F。在图6中,表面A是前表面,表面B是右侧表面,表面C是后表面,表面D是左侧表面,表面E是上表面,表面F是下表面。仅能看见表面A、B和E。由于操作台203可以沿竖直轴旋转,所以表面A不总是前表面。由于操作台203也可以沿水平轴旋转,所以表面E不总是上表面。将工件204固定在表面E或F。
将三个标记218a、218b和218c附着在表面A。尽管图6中未示出,类似地将三个标记附着在表面B、C和D。在以下描述中,在没必要区别标记时,如果不需要区别每一标记,则使用标号“218”来表示一个或多个标记。预先确定表面A至表面D配置有标记的位置。
在图6中,将工件204固定在表面E上的预定位置。固定工件204的位置根据工件204的型号被预先确定。因此,可根据操作台203的位置和方向唯一地计算工件204的位置和方向。
接下来,以下描述根据通过立体视觉算法计算的标记位置来计算驱动器202的位置和方向以及操作台203的桌台的位置和方向的方法。首先,为了说明,术语(a)至(f)定义如下。
(a)右相机坐标系统和左相机坐标系统
由CCD相机206和207拍摄的图像的坐标系统分别称为“右相机坐标系统”和“左相机坐标系统”。右相机坐标系统和左相机坐标系统都是二维坐标系统。因此,在这些坐标系统中由一对坐标表示一个点。由于CCD相机206和207被安装在不同位置,所以在右相机坐标系统上的目标的坐标和在左相机坐标系统上的同一目标的坐标不同。
(b)绝对坐标系统
原点的位置和轴的方向固定的球形三维坐标系统称为“绝对坐标系统”,并由标记符号“∑a”表示。使用由CCD相机206和207拍摄的两个图像通过立体视觉算法计算的坐标是绝对坐标系统∑a上的坐标(更具体地,三个坐标作为一组)。CCD相机206和207固定和安装在防震相机台205上,防震相机台205被固定以使其适合计算绝对坐标系统∑a上的坐标。
在用以实现本发明的本实施方式中,绝对坐标系统∑a是三维正交坐标系统,并且三个轴是x轴、y轴和z轴。绝对坐标系统∑a是参照图1所描述的第一坐标系统的实例。用以表示任一点Pi的绝对坐标系统∑a上的一组三个坐标由公式(1)的行矢量aPi表示。
aPi=(xi,yi,zi) (1)
(c)操作台坐标系统
基于操作台203的桌台的局部三维坐标系统被称为“操作台坐标系统”。操作台坐标系统是原点随着操作台203的移动而移动,以及轴的方向随着操作台203的桌台的旋转而改变的坐标系统。
(d)工件坐标系统
基于工件204的局部三维坐标系统称为“工件坐标系统”,并由标记符号“∑w”表示。工件坐标系统是原点随着工件204的移动而移动,以及轴的方向随着工件204的旋转而改变的坐标系统。
在用以实现本发明的本实施方式中,工件坐标系统∑w是三维正交坐标系统,并且三个轴是q轴、r轴和s轴。工件坐标系统∑w是参照图1所描述的第二坐标系统的实例。点Pi在工件坐标系统∑w上的一组三个坐标由公式(2)的行矢量wPi表示。
wPi=(qi,ri,si) (2)
(e)坐标转换
在每一上述坐标系统中,(a)和(c)是辅助坐标系统,而(b)至(d)可相互转换,但是用以实现本发明的本实施方式的主要焦点在于从绝对坐标系统∑a到工件坐标系统∑w的转换。从绝对坐标系统∑a到工件坐标系统∑w的转换可由使用4×4矩阵A的公式(3)表示。“T”是表示转置矩阵的符号。
(qi,ri,si,1)T=A(xi,yi,zi,1)T (3)
矩阵A的每一矩阵元是从绝对坐标系统∑a到工件坐标系统∑w的坐标转换的参数,以及是参照图1所描述的在第一坐标系统和第二坐标系统之间进行坐标转换的必要参数的实例。如上所述,由于安装有工件204的操作台203可移动,所以矩阵A的每一矩阵元的值根据操作台203的位置和方向动态地改变。
(f)两点之间的距离
在点Pi和Pj之间的欧几里得距离(Euclid distance)由“d(Pi,Pj)”表示。坐标系统(b)至(d)是用于真实世界中的三维空间的坐标系统,在任一坐标系统中计算的该距离是相同的。
接下来,使用上述定义的术语,参照图7至图10详细描述在图2和图4所示的操作位置定位系统中执行的处理。图7是示出根据用以实现本发明的一方案的处理流程的流程图。与图2类似,以下描述的重点在于操作单元103中的处理。
首先,在步骤S101,将工件204从前一处理中的操作单元102传送至操作单元103。由工人201使用条形码读取器211读取表示工件204的型号的条形码,用作计算单元113的PC 209检测到工件204已经被发送,并向被告知工件204的型号。PC 209将表示该型号的代码作为检索密钥(retrievalkey)(即,搜索密钥)发送至主机系统105,并从主机系统105读取关于该型号的操作信息。操作信息包括N个螺丝的拧螺丝位置处的工件坐标系统∑w上的坐标。这些坐标在设计工件204时被确定,并且这些坐标是参照图1的上述操作坐标。
接下来,在步骤S102,PC 209监控是否已经接收到完成信号。重复执行步骤S102中的处理,直至接收到完成信号。当接收到完成信号时,控制转至步骤S103。完成信号的实例是用以表示实际施加的扭矩已经达到指定扭矩的扭矩达到(torque-up)信号。通过驱动器控制器210和IO板215将扭矩达到信号从驱动器202发送至PC 209。
在步骤S103,CCD相机206和207同时拍摄操作单元103。将两张拍摄图像的数据提供至PC 209中的图像处理板214。由此,保留在检测出接收到完成信号时用以检测工件204和驱动器202的位置和方向的必要数据。
接下来,在步骤S104,在由CCD相机206和207拍摄的两张图片的每一张图片中,图像处理板214在图像识别过程中检测附着到操作台203的标记218的位置。
如上所述,在没有任何障碍(例如工人201等)的情况下,由CCD相机206和207拍摄的图像包括操作台203和工件204。因此,在具有三个附着标记218图像中至少拍摄了表面A至表面D中的至少一个。因此,图像处理板214能够检测在所述两张图像中的每一张图像的数据中的至少三个标记218。
在以下描述中,为了便于说明,假设图6中所示的位置关系,并假设在步骤S104中已经检测到标记218a至218c。然而,在步骤S104和S105的阶段中,没有确定所检测的三个标记218是附着至表面A的标记218a至218c。
在以下描述中,各标记218的中心位置表示各标记218的位置。在步骤S104中,检测在标记218a至218c的中心位置在右相机坐标系统中的坐标以及在左相机坐标系统中的坐标。
在某些情况下,两个邻接表面(例如表面A和B)出现在一个图像中,并且图像处理板214可检测6个标记218。在每一表面上,由于标记218附着在一条直线上,因此在每一图像中3个标记218排列在一条直线上,其它3个标记218排列在另一条直线上。图像处理板214检测这两条直线,从而可将6个标记218分成附着在一个表面上与附着在另一表面上的两个组。在步骤S105和S106中的随后处理中可仅使用一组也可以使用两组。在以下的描述中,为了简化说明,假设仅使用包含标记218a至218c的一个组。
在接下来的步骤S105中,PC 209通过立体视觉算法计算每一检测标记218在绝对坐标系统∑a中的坐标。在步骤S105的计算处理中使用在步骤S104中获得的每一标记218在右相机坐标系统和左相机坐标系统中所计算的坐标值。即,在此实例中,计算各标记218a、218b和218c的位置P1、P2、P3的每一个位置的绝对坐标系统∑a的坐标aP1、aP2、aP3。
在接下来的步骤S106中,PC 209计算由绝对坐标系统∑a表示的操作台203的位置和方向。以下参照图8和图9描述该计算方法。
图8是在检测的3个标记218a至218c之间的位置关系的示意图。在步骤S106,PC 209使用在步骤S105中计算得到的坐标来计算标记218之间的距离,即d(P1,P2)和d(P2、P3)。图8示出两个距离d(P1,P2)和d(P2、P3)。
将3个标记218附着在表面A至D的每一表面中。附着这些标记218,以使得对于每一表面,标记218之间的位置关系不同,以及根据哪个是上表面(即是表面E还是表面F),标记218之间的位置关系也不同。图9示出标记218的排列图案的实例。
在图9中,假设表面E和F是边长为105cm的正方形,并且每一标记218具有5cm的水平长度。在每一表面A至D中,将标记218附着在右端和左端,并将另一标记218附加在它们之间。因此,在每一表面A至D上,附着在两端的两个标记218之间的距离为100cm。图9示出从图像左侧起按标记符号P1、P2和P3的顺序由其表示的3个标记218的位置。图9中所示的表格以从左侧开始的顺序示出4个列:预先确定的d(P1,P2)的名义值、预先确定的d(P2、P3)的名义值、在步骤S104中检测的标记218所在的表面和上表面。
基于上述假设,PC 209确定例如计算的d(P1,P2)的值是否等于预定允许误差内的10cm,以及计算的d(P2、P3)的值是否等于在预定允许误差内的90cm,然后确定在步骤S104中检测到的标记218所附着的表面是表面A,以及表面E为上表面。
另外,也不一定必须确定允许误差。在这种情况下,PC 209可确定例如与图9中所示的表格的最左列中的计算值d(P1,P2)最接近的值是否为10cm,以及与图9中所示的从表格的最左列起的第二列中的计算值d(P2,P3)最接近的值是否为90cm,然后确定在步骤S104中检测到的标记218所附着的表面是为表面A,以及表面E为上表面。
因此,在对标记218的计算距离的值与标记218的预定距离的值进行比较时,在考虑到误差的情况下执行处理,但是实际处理方法是根据具体的实施方式随意确定。
由于所述4个表面A至D中的每一个均具有表面E是上表面的情况以及表面F是上表面的情况,所以图9中所示的表格包括8个行(不包括头一行)。排布标记218以使得在8个行的任两行中d(P1,P2)和d(P2、P3)的值的组合不相同。
预先将例如图9中所示的标记218的预定排列图案读取到PC 209的RAM等中。因此,PC 209参照预先存储的排列图案基于d(P1,P2)和d(P2、P3)的计算值来确定附着有检测到的标记218的表面和上表面。例如,在图6所示的实例中,PC 209识别出附着有3个所识别图像的标记218的表面是表面A,上表面是表面E,并且3个标记218实际上是附着在表面A的标记218a至218c。
在PC 209已经计算出标记218a至218c的位置P1、P2和P3的绝对坐标系统∑a中的坐标aP1、aP2、aP3之后,执行上述识别处理。因此,PC 209可基于坐标aP1、aP2、aP3计算由绝对坐标系统∑a表示的操作台203的位置和方向。例如,PC 209计算在绝对坐标系统∑a上操作台坐标系统的原点位置和轴的方向矢量。
在接下来的步骤S107中,PC 209通过使用操作台203的位置和方向计算矩阵A,作为用于坐标系统之间转换的转换参数。
首先,PC 209基于步骤S106中的计算结果计算矩阵B,作为用于从绝对坐标系统∑a到操作台坐标系统的坐标转换的参数。
另一方面,由于将工件204固定在操作台203的桌台的预定表面上的预定位置,所以矩阵C根据工件204的型号被预先固定地确定,而不会发生编号,其中矩阵C作为用于从操作台坐标系统到工件坐标系统∑w的坐标转换参数。矩阵C可预先被存储在PC 209的硬盘驱动器上,例如或者可在步骤S107中将其从主机系统105提供至PC 209。
因此,通过执行矩阵操作计算A=CB,PC 209可获得公式(3)的矩阵A。
可选择地,PC 209也可以通过如下方式计算矩阵A。每一标记218的操作台坐标系统中的坐标被预先确定。将标记218的坐标预先读取到例如PC209的RAM。PC 209可使用矩阵C将所读取的标记218的坐标转换为工件坐标系统∑w的坐标。
在这一阶段中,已经计算了标记218a至218c的位置P1至P3在绝对坐标系统∑a和工件坐标系统∑w中的坐标。因此,PC 209可基于坐标系统∑a和∑w中的坐标计算矩阵A。
在执行步骤S107之后,控制转至步骤S108。在步骤S108,图像处理板214通过对步骤S103中拍摄的两个图像中的每一个进行图像识别处理来检测驱动器202的标记217a和217b。即,检测标记217a和217b在右相机坐标系统中的坐标及其在左相机坐标系统中的坐标。
在接下来的步骤S109中,PC 209通过立体视觉算法计算标记217a和217b在绝对坐标系统∑a中的坐标。该处理与步骤S105中执行的处理类似。
在接下来的步骤S110中,PC 209通过使用在步骤S109中计算得到的标记217a和217b的坐标,来计算驱动器202的顶部225在绝对坐标系统∑a中的坐标。以下参照图10描述该计算方法。图10是以二维表示法表示的示意图。
将两个标记217a和217b附着在驱动器202的手柄部分。为了简化说明,假设两个标记217a和217b附着在没有被工人201的手隐藏的位置。驱动器202具有关于轴224实质上径向对称的手柄部分和驱动器钻头(driver bit)223。标记217a和217b也分别附着为形成关于轴224径向对称。图10示出在工件204的预定位置紧固螺丝226的操作,并且在完成紧固螺丝226时驱动器202的顶部225的位置是该操作的操作完成位置。
在步骤S109的处理中,计算用以表示标记217a和217b的位置的点P4和P5在绝对坐标系统∑a中的坐标aP4和aP5。点P4表示标记217a,并且根据用以实现本发明的方案可随意确定选择点P4的方法。
例如,在以下用以实现本发明的方式中,在驱动器202的手柄部分的直径充分小于操作位置之间的距离的情况下,在忽略驱动器202的厚度时不会出现问题。否则,存在以下用以实现本发明的方式,即根据基于由CCD相机206和207所拍摄的图像计算的绝对坐标系统∑a中的坐标的精度,驱动器202的直径小于预定允许误差。在上述用以实现本发明的方式中,假设存在经过标记217a的宽度中心点并对应于所拍摄图像中的轴224的直线时,可选择位于直线上的点作为点P4。类似地选择用以表示标记217b的位置的点P5。因此,在假设驱动器202的顶部225落于连接点P4和点P5的直线上的情况下,计算顶部225的坐标。
在用以实现本发明的另一方案中,可选择垂直于轴224的平面与轴224的交叉点作为点P4,其中轴224经过标记217a的宽度中心。在这种情况下,由于点P4不在标记217a的外表面,所以PC 209可根据基于立体视觉原理计算的标记217a的外表面上的多个点的坐标和驱动器202的手柄部分的已知直径,来计算点P4的坐标。
在以下描述中,假设连接表示标记217a的点P4和表示标记217b的点P5的直线可被看成轴224。基于这一假设,驱动器202的顶部225的点P6位于轴224上。
在绝对坐标系统∑a中,可基于坐标aP4和aP5获得用以表示轴224的直线的公式。图10中所示的角θ是由工件204和轴224形成的角,并在二维示意图中表示。
另一方面,如上所述知道了驱动器202上的标记217a和217b的附着位置。预先预定或预先测量驱动器钻头223的长度。因此,能够仅根据已知的固定数据计算P5与P6之间的距离d(P5,P6)。
在步骤S110,PC 209从与点P4相反的方向(即从直线轴224上的点P5进行观察)上计算从点P5开始的距离d(P5,P6)的位置坐标。然后,在步骤S110,PC 209将所计算的坐标确定为点P6的坐标。
可以以多种方法确定两个识别图像标记之间哪个是标记217a(或217b),并基于确定结果计算点P6的坐标。
例如,在用以实现本发明的方案中,使用垂直设置的驱动器202紧固螺丝226的操作仅限于放置螺丝226并从上面用驱动器202紧固螺丝的情况。因此,当轴224的直线倾斜度基本垂直时,两个位置检测标记中较高的标记被识别为标记217a,较低标记被识别标记217b。
还存在另一用以实现本发明的方案,其中工人201的位置仅限于预定范围,例如预定工人201的位置保持在工件204的左面(从CCD相机206和207处观察)。在这种情况下,在两个位置检测标记中,从CCD相机206和207处观察的左侧标记被识别为标记217a,右侧标记被识别为标记217b。
另外,还需考虑到如下几何特征,即驱动器202具有较厚手柄部分和较薄驱动器钻头223。也能够识别出在两个被检测标记中距离驱动器钻头223较远的标记为标记217a,较近的标记为标记217b。
在任一情况下,基于用以表示标记217a和217b的点P4和P5的坐标,PC 209计算用以表示驱动器202的顶部225的点P6在绝对坐标系统∑a中的坐标aP6。坐标aP6是参照图1所描述的操作完成坐标的实例。
然后,在步骤S111,PC 209使用在步骤S107中计算得到的参数(即矩阵A)对坐标aP6执行坐标转换,并计算点P6在工件坐标系统∑w中的坐标wP6。
之后,在步骤S112,PC 209比较在步骤S101中读取的拧螺丝位置的设计数据(其作为操作坐标)与在步骤S111中计算得到的驱动器202的顶部225的坐标wP6,并定位(即识别)刚完成的操作对应于哪个拧螺丝位置。在步骤S112的处理中使用的坐标系统仅是工件坐标系统∑w。
例如,根据坐标wP6和N个操作坐标,PC 209计算点P6与N个操作位置中每一个操作位置之间的距离,从而获得N个距离值。然后,PC 209定位表示距点P6最短距离的操作位置,作为刚刚完成的拧螺丝操作的操作位置。可选择地,不将坐标wP6与所有的N组(每组包含三个操作坐标)坐标进行比较,而是从比较目标中删除完成操作的三元操作坐标。
在接下来的步骤S113中,PC 209确定在步骤S112中的定位是否成功。如果已经成功,则控制转至步骤S114,并且PC 209控制操作监控器212显示定位结果。如果失败,则控制转至步骤S115,并且PC 209控制操作监控器212显示定位失败。
步骤S113的标准取决于用以实现本发明的方案。例如,假定在步骤S112中选择N个操作位置中表示与驱动器202的顶部225距离最近的操作位置。在这种情况下,仅在最短距离等于或小于预定阈值时,在步骤S113确定定位成功。否则,可以确定定位失败。
尽管在图7中没有示出,也可能存在步骤S104或S108中图像识别失败的情况。在这种情况下,由于不能相应定位操作位置,所以在步骤S113中确定为“否”。
在执行步骤S114或S115之后,控制转至步骤S116。在步骤S116,PC209确定是否已经完成了操作单元103中要执行的所有N个操作。如果完成了所有操作,则确定为“是”,并且图7所示的过程终止。如果仍剩下要执行的一些操作,则PC 209确定为“否”,并且控制转至步骤S102。当完成图7中所示的过程时,将工件204传送至下一操作单元104。
图11示出操作监控器212的显示屏幕的实例。在图11所示的实例中,在操作监控器212的屏幕上提供有9个区域,并且在相应区域中通过字符、符号、图片等显示9种类型的信息。
工件选择操作显示区域301是用于选择和显示正被组装的工件型号的区域。在用以实现本发明的方案中,工人201从工件选择操作显示区域301上显示的选项中选择工件204的型号,并通过外部设备213在PC 209上表示选择结果,并将选择结果显示在工件选择操作显示区域301上。在用以实现本发明的另一方案中,工人204使用条形码读取器211读取的表示工件204型号的条形码的结果被显示在工件选择操作显示区域301上。因此,工人201仅需要确定所显示的型号。
操作信息显示区域302显示工件204的S/N和工人201的ID。也可以显示用于提示工人201使用条形码读取器211输入他或她的ID的消息。
操作按钮显示区域303包括被显示的“开始”、“停止”、“暂停”和“继续”按钮。工人201在开始对工件204进行一系列操作时使用例如鼠标按下“开始”按钮,在因为某些原因强行停止对工件204进行的一系列操作时按下“停止”按钮,在由于休息等而要暂停一系列操作时按下“暂停”按钮,以及在继续所暂停的一系列操作时按下“继续”按钮。
细节显示区域304包括细节信息,例如整个系统的状态、在操作单元103中要执行的N个操作的进展情况、包含接下来要执行的操作的指令的各种消息等。
在工件选择操作显示区域301中选择的工件204被图形化地显示在工件正面显示区域305和工件背面显示区域306中。在图11所示的实例中,假设需要对工件204的正面和背面进行操作。因此,工件正面显示区域305显示工件204的正面,工件背面显示区域306显示工件204的背面。已完成的操作部分和待执行的操作部分被图形化地显示。例如,已完成的操作部分和待执行的操作部分分别标记有黑圈和白圈。已完成的操作部分指的是已经成功执行了操作位置定位的部分。
拧螺丝操作计数显示区域307包括用以表示在图7所示的步骤S113中确定结果为“是”的频率的次数M,即用以表示成功定位操作位置的频率的次数M。或者在拧螺丝操作计数显示区域307中显示从待执行的操作总数N中减去次数M所获得的值(N-M)。
拧螺丝操作总数显示区域308包括在操作单元103中对工件204要执行的操作的总数N。
定位错误计数显示区域309包括在图7所示的步骤S113中为“否”的次数,即在因为某些原因未成功定位操作位置的操作次数。
图12示出附着于操作台203的标记218的实例。标记218配置有片状基底单元401和十字形凸出部402。
在图12所示的实例中,片状基底单元401的几何形状是矩形片状。片状基底单元401的背面404是附着在操作台203上的附着表面。例如,将粘合剂涂覆在背面404,从而将标记218附着至操作台203。十字形凸出部402从片状基底单元401的表面403开始在片状基底单元401的厚度方向上延伸。十字形凸出部402包括彼此正交的水平线部分405和垂直线部分406,并具有宽度w1和厚度t1。片状基底单元401由例如反光材料等的高反射材料制成,以实现回射(retroreflection),其表示入射光方向上光的反射。十字形凸出部402由具有低入射光反射率的低反射材料制成。
使用标记218的上述结构,由于以下第一至第三方面的原因,可提高由图像处理板214对CCD相机206和207拍摄的图像进行图像识别而检测的对标记218的检测精度。
第一原因,由于片状基底单元401由反光材料制成,不管CCD相机206和207的拍摄角度如何,反射率基本是常数,并且较高。另一方面,十字形凸出部402由低反射率材料制成。因此,不管拍摄角度如何,在拍摄图像中获取了高对比度的十字形图像,并且该图像的轮廓清晰。因此,当使用例如已知的边缘提取方法的图像识别技术识别标记218时,可提高用以识别标记218的识别精度。
第二原因,由于在许多情况下在操作单元中存在较少的高对比度十字形对象,所以标记218不会与图像的背景混合,因此可以被容易地检测。由CCD相机206和207拍摄的图像包括操作单元中的各种对象和工人201。其中许多对象具有圆形或矩形轮廓。因此,根据经验可以得知,如果使用圆形图案、矩形图案等会降低标记的识别率。另一方面,在例如背景中包括各种对象的不理想条件下也很难降低图12中所示的标记218的识别率。
第三原因,通过适当确定十字形凸出部402的宽度w1和厚度t1,不管拍摄标记218的角度如何,均能够降低图像中十字形的水平线和垂直线的宽度的变化。
当从前面拍摄标记218时,在图像中拍摄的内容基本上仅是十字形凸出部402的前面,并且不会拍摄水平线部分405和垂直线部分406的大部分侧表面。因此,在这种情况下,通过CCD相机206或207与标记218之间的距离以及水平线部分405的宽度w1能够确定图像中水平线的宽度。同样能够确定图像中垂直线的宽度。
另一方面,当从它们左面或右面对角地拍摄标记218时,在图像中拍摄有垂直线部分406的前表面和侧表面。在图像中前表面宽度较窄的拍摄角度处,图像中侧表面的宽度较宽。因此,如果十字形凸出部402的宽度w1和厚度t1适当,图像中十字形的垂直线的宽度不会随拍摄角度有较大改变。类似地,当从它们上面或下面对角地拍摄标记218时,图像中十字形的水平线的宽度不会随拍摄角度有较大改变。
当图像中十字形的垂直线和水平线的宽度的改变较小时,在图像中与标记218对应的十字形可被容易地识别,因而可自然地提高图像识别的精度。由于适当的宽度w1和厚度t1取决于各种要素,例如操作单元的大小、CCD相机206和207的安装角度和标记218的大小等,所以期望在实验等之后对其进行适当确定。
图13A和图13B示出附着在驱动器202上用作标记217的部件的实例。在图6和图10中,在不限制实际几何形状或材料的情况下,示出两个标记217a和217b,但是它们并不是指所需的两个不同对象。显然地,也可以使用一个标记217,作为具有两个位置可识别部分的对象。图13A和图13B示出标记217的实例。
将图13A中所示的标记217附着在驱动器202的手柄部分。期望将标记217附着在没有被工人201的手隐藏的位置。标记217包括圆柱形基底单元408和3个圆柱形凸出部409a、409b和409c。与片状基底单元401类似,圆柱形基底单元408由高反射率材料制成。与十字形凸出部402类似,圆柱形凸出部409a、409b和409c由低反射率材料制成。
每一圆柱形凸出部409a、409b和409c沿着圆柱形基底单元408的圆柱侧表面的外部圆周配置。即,圆柱形基底单元408和圆柱形凸出部409a、409b和409c被配置为关于公共轴410形成径向对称,并且整个标记217形成为关于轴410径向对称。在图13A的描述中,在轴410的方向上的长度称为“宽度”。在图13A所示的实例中,圆柱形凸出部409a、409b和409c的宽度为w2。在图13A的描述中,在径向上的长度(即,与轴410的距离)称为“厚度”。圆柱形凸出部409a、409b和409c从圆柱形基底单元408向外延伸厚度t2。
将图13A所示的标记217附着至驱动器202,以使得标记217的轴410与驱动器202的轴224彼此匹配。例如,圆柱形基底单元408是空心的,并形成为其内径基本等于驱动器202的手柄部分的外径。在这种情况下,通过将驱动器202的手柄部分的全部或一部分啮合在圆柱形基底单元408的内部空间中,可将标记217附着至驱动器202,以使得轴410与轴224匹配。另外,圆柱形基底单元408也可以不是空心的而是实心的。在这种情况下,例如,可通过将圆柱形凸出部409c附着在驱动器202的手柄部分的端部来使得标记217附着在驱动器202上。此外,可对标记217配置用于附着至驱动器202的部分,例如爪部。
由于需要至少两个要检测坐标的对象,所以图6和图10示出具有两个标记217a和217b的驱动器202。为了减少检测错误,显然可使用三个或更多要检测坐标的对象。因此,图13A示出配置有3个要检测坐标的圆柱形凸出部409a、409b和409c的标记217。
使用上述配置的标记217,由于以下原因可提高在CCD相机206和207拍摄的图像上由PC 209执行的对驱动器的标记的图像识别精度。
第一原因,由于圆柱形基底单元408由反光材料制成,所以不论拍摄角度如何,在拍摄图像中圆柱形基底单元408与圆柱形凸出部409a、409b和409c之间的对比度恒定地保持高。因此,不管拍摄角度如何,通过图像识别能够容易地检测出圆柱形凸出部409a、409b和409c。
第二原因,由于标记217采用径向对称的形式,所以即使经过标记217和CCD相机206(或CCD相机207)的线的斜率关于与地面平行的水平面发生较大改变,在拍摄图像中标记217的几何形状也不会有较大改变。这种特点有助于改善识别率。
第三原因,由于圆柱形凸出部409a、409b和409c具有厚度t2,并向圆柱形基底单元408外部延伸,所以即使CCD相机206或207的光轴与标记217的轴410构成的角度较小,也可以在图像中拍摄具有一定尺寸度的圆柱形凸出部409a、409b和409c。第三方面原因类似于关于图12中所示的标记218的第三方面原因。因此,通过根据用以实现本发明的方案适当确定宽度w2和厚度t2,由图像识别检测的标记217的范围可被扩展,从而提高识别率。
图13B所示的标记217具有与图13A所示的标记217几乎相同的结构。其不同之处仅在于图13B中所示的标记217还配置有圆柱形凸出部409d。
如图13A和图13B所示,优选地可配置标记以用于操作位置定位系统。将标记附着在例如驱动器202的设备上,并包括基底单元和从该基底单元延伸的多个凸出部。基底单元具有高反射率,多个凸出部具有低反射率,或者基底单元具有低反射率,多个凸出部具有高反射率。在将标记附着到设备上时,多个凸出部中的每一个均采用关于多个凸出部的公共轴基本径向对称的形式。
由于标记的凸出部采用基本径向对称的形式,所以通过将标记附着在工具上以用于制造过程从而从任一方向观察例如驱动器202的工具时,能够以恒定的可靠性检测标记位置。使用上述标记,可改善操作完成坐标检测单元的检测精度。
以上详细描述了用以实现本发明的方案。以下将描述在工件组装线100中由与操作单元101至104相关的上述实施例所获得的效果总结。
首先,要执行的操作可分为实际上已经执行的操作和还没有执行的操作。因此,例如对于PC 209或主机系统105能够自动检查在制造过程中是否存在一些遗漏的还没有被执行的操作。通过由工人201基于检查结果执行操作,在存要被执行但还没有被执行的操作的状态下,可防止工件被错误地传送到下一过程。
因此,能够减少向遗漏执行操作的工人201提供操作指令的工时(man-hour)量。此外,也可以大大降低在制造过程之后要执行的测试处理步骤中的工时量。通常,需要检查者在视觉上查看工件204的外观,以搜索遗漏操作的任一部分,以及检查遗漏操作的位置。然而,根据以上实施例,没必要执行该检查,或者能够大大减少检查步骤。
此外,根据以上实施例,可降低由于忘记操作而造成的残品出现数目,从而提高产品产量。
除了上述共有效果之外,以上详细描述的用以实现本发明的方案还具有以下效果。
首先,不需要使用需要电力的标记,使用可移动操作台203,可定位操作位置。因此,根据用以实现本发明的上述方案的操作位置定位系统可应用于许多制造过程中。
此外,由于操作位置定位系统配置有向工人201提供指导的功能,并且在操作监控器212上显示图11所示的各种信息,所以工人201可在检查操作监控器212的同时执行操作,并且可防止忘记上紧螺丝。此外,即使工人201由于大意而忘记上紧螺丝,这种情况被显示在操作监控器212上,工人201识别出这一错误,然后工人201正确执行该操作。
由于驱动器202是电驱动的扭矩驱动器,所以可检测施加至螺丝的扭矩和驱动时间。因此,螺丝的划线(scoring)(或磨伤(galling))是可检测的,并且也可以检测仅放置螺丝而忘记上紧螺丝的情况。
例如,当在螺丝孔的方向正确施加扭矩时,预期从开始上紧螺丝至达到指定扭矩所用的时间等于从开始上紧螺丝至正确设定螺丝所用的时间。因此,当这两个时间值之间的差值较大时,由于斜靠螺丝孔向向螺丝施加扭矩,所以可检测到发生了划伤螺丝的情况。当检测到螺丝划线时,期望驱动器202发出作为错误操作通知的信号,而不是发出完成信号。根据该信号,PC 209控制操作监控器212,以在细节显示区域304等中显示警告,从而使得工人201执行正确操作。
如果在将螺丝放在其位置之后忘记了,则从驱动器202不输出与拧螺丝操作对应的完成信号。因此,操作位置定位系统识别出还没有执行完的操作。因此,在工件正面显示区域305或工件背面显示区域306中显示操作的操作位置,作为要执行操作的部分,从而使得工人201识别出他/她忘记了上紧螺丝。
本发明不限于用以实现本发明的上述方案,而可采用各种变型。以下描述变型的实例。
在用以实现本发明的上述方案中,通过用工件坐标系统∑w中的坐标表示操作完成位置和操作位置,来将两者进行比较,以定位与操作完成位置对应的操作位置。另一方面,可通过用绝对坐标系统∑a中的坐标表示它们以将它们进行比较。在这种情况下,在图7所示的步骤S107中,在计算时矩阵A用矩阵A-1来代替。矩阵A-1是矩阵A的逆矩阵,并且是从工件坐标系统∑w到绝对坐标系统∑a的转换矩阵。在这种情况下,在步骤S111中的处理没有必要,并且需要在步骤S112中将操作坐标转换为绝对坐标系统∑a中的坐标的过程。
尽管能够采用上述变型,但是这不是优选的。即,如图7所示将绝对坐标系统∑a中的坐标转换为工件坐标系统∑w中的坐标的方法要求更少的计算复杂度,因此效率更高。
在图7中,在步骤S111中将用以表示一个点的唯一一组坐标从绝对坐标系统∑a转换至工件坐标系统∑w。另一方面,如果操作单元103中要执行的操作数目为N,则在上述变型实例中有必要将N组操作坐标从工件坐标系统∑w转换至绝对坐标系统∑a。在这种情况下,N的值越大,计算复杂度越高。在用以实现本发明的某些方案中,将已经被定位的操作位置从与操作完成位置进行比较的目标中去除。然而,该变型实例需要比图7所示情况更高的计算复杂度。
由于操作台203是可移动的,所以每当完成操作时有必要将一个坐标系统中的坐标转换至另一坐标系统。因此,不能使用首先执行坐标转换、存储转换结果、然后引用存储的转换结果的方法。因此,很清楚图7所示的计算复杂度小于该变型实例的复杂度。
标记217和218的几何形状和材料不限于所示实例。例如,图12中所示的标记218示出一个水平线部分405与一个垂直线部分406正交的几何形状,但是可采用两个或更多个水平线部分405或垂直线部分406。没必要一定具有彼此正交的直线的几何形状,而可以对标记218使用任一几何形状,例如多边形、圆形、椭圆形等。
例如,可使用具有用以插入驱动器202的手柄部分的孔的球形标记,代替径向对称的标记217。由于不管CCD相机206和207的拍摄角度如何,在拍摄图像中球形标记的形状总为圆形,所以球形标记改善了图像识别的识别率。
例如,可在球形标记的表面上形成预定图案,并且可由反光材料和低反射率材料制成该图案。该图案能使得PC 209使用球形标记计算驱动器202的位置和方向,从而PC 209可计算用以表示驱动器202的顶部225的点P6的坐标aP6。
在以上实例中,将3个标记218附着到操作台203的每一表面A至D,但是显然地可使用一个标记,其形成为使得3个十字形凸出部402从一长片状基底单元401的表面403延伸,并且清楚的是,这样形成的标记具有与图12所示的标记218相同的效果。在这种情况下,例如在长片状基底单元401的表面403上,3个十字形凸出部402以如图8所示的间隔进行排列。
标记217和218可以由具有较大差别反射率的不同材料制成,从而可以在图像识别中容易地检测出它们。因此,标记218可具有低反射率片状基底单元401和高反射率十字形凸出部402。类似的,标记217可具有低反射率圆柱形基底单元408和高反射率圆柱形凸出部409a至409d。
图12至图13B所示的标记217和218具有这样的优点:它们不需要电力,并且可在不需要改变它们的情况下将其附着到现有驱动器202和操作台203。然而,用以实现本发明的某些方案使得例如LED(发光二极管)等的高亮度发光元件或超声波发生器用作标记217和/或218。也就是说,由于只需要检测三位空间中的位置,所以图4中所示的用以实现本发明的方案可被改变,以使用用于三维测量的传感器,例如超声波传感器、振动传感器等。
例如,当将LED用于标记217和/或218时,通过使用对LED发出的光的波长具有波长敏感性的CCD相机206和207,能够高精度地识别标记。当将超声波发生器用作标记217和/或218时,通过多个超声波接收器接收超声波信号,其中所述多个超声波接收器的位置关系彼此已知并且可代替CCD相机206和207,从而根据超声波信号的传播时间差来检测标记的位置。
当将LED或超声波发生器用作标记217时,完成信号产生工具110和标记217可组合为一个设备。例如,当通过驱动器202施加到螺丝的扭矩达到指定扭矩时,附着在驱动器202的超声波发生器产生超声波信号,作为完成信号,多个超声波接收器接收超声波信号,并且PC 209可计算超声波发生器的位置。
然而,当使用LED和/或超声波发生器时,会产生消耗驱动能量(例如电力等)的问题,以及必须有用于提供驱动能量的电池或布线的问题。可能难以为现有的驱动器202或操作台203重新提供布线。也难以在不扭曲或切断布线的情况下以及在不改变操作台203的移动区域的情况下提供布线。
在用以实现本发明的上述方案中,使用两个CCD相机206和207,但是可使用3个或更多相机来消除盲点等。
CCD相机206和207可拍摄亮度图像(luminance image)(即单色灰度级图像)或彩色图像。
在前一情况下,优点在于:图像处理需要更少数据量,不需要调节彩色滤波器等。此外,由于图12A至13B中所示的标记217和218由高反射率材料和低反射率材料制成,所以在亮度图像中很容易识别出它们。
另一方面,当使用用于拍摄彩色图像的CCD相机206和207时,例如可将具有红色十字形凸出部402的标记218附着至表面A,并且可将具有蓝色十字形凸出部402的标记218附着至表面C。因此,可使用颜色差确定操作台203的方向。因此,也可以调节图9中所示的表面A至表面D上标记218的附着位置上的限制。即,只有在根据外观(其包括标记218的形状、颜色、排列图案等)能够识别出操作台203的表面时,可随意确定标记218的实际结构和排列。
用以实现本发明的上述方案中的操作内容涉及拧螺丝操作。然而,其它实施方式可针对其它类型的操作。例如,某些实施方式可用于含有软接、焊接、捆绑(seizing)、堵缝、模锻、点焊接、压焊等操作的制造过程。此外,某些实施例可应用于一个过程包含例多个类型操作(如拧螺丝、焊接等)的情况。
例如,在多个点处粘合树脂板的超声波焊接过程中,每当在每一焊接点完成焊接操作时,超声波焊接单元发出完成信号,并且PC 209通过IO板215接收完成信号。因此,如果使用在完成操作时用以发出完成信号的工具,则上述实施例可被修改,以应用于除了拧螺丝操作之外的其它操作。
某些其它实施例可应用于除了组装处理之外的其它过程。例如,可在制造过程中包括除了组装过程之外的其它检查过程。在检查过程中,可使用工具进行检查。如果设计一种结构,使得每当完成一次检查操作时,检查工具可发出完成信号,则一实施例可应用于该检查过程。
工具本身可通过手力操作,而不需要电力。例如,如果可通过振动传感器检测操作的完成,则在一实施例中可利用振动传感器,从而振动传感器被附着至手力工具,并发出完成信号。
设计图4中所示的操作台203,以使得位置移动、桌台在水平轴上旋转以及桌台在垂直轴上旋转。然而,显然地也可用其它类型的操作台,例如桌台被设计为不沿水平轴旋转的操作台。在这种情况下,桌台移动的自由度的减少使得在标记218的排列图案中的限制适度。
尽管拧螺丝操作的操作位置是一个点,但是存在覆盖作为线性或平面延伸的范围的操作。例如,在通过角焊处理金属板时,线性执行焊接处理。因此,某些实施例可应用于在线性或平面延伸的范围上执行的操作。
在具有线性或平面延伸的范围上执行的操作中,例如,使用被配置为在操作期间按预定间隔间歇地发出信号的工具。该信号称为“操作进行中信号”。类似于完成信号,由PC 209通过驱动器控制器210和IO板215接收操作进行中信号。在PC 209接收到操作进行中信号时执行操作的位置称为“操作进行中位置”。
该操作位置表示为在现有和线性延伸的点位置的工件坐标系统∑w中的一组坐标或平面,或通过描述工件坐标系统∑w中的线或平面的公式表示。在接收到操作进行中信号时,PC 209执行与接收到完成信号时执行的操作类似的操作。即,PC 209在接收到操作进行中信号时检测操作台203的位置和方向,计算用于从绝对坐标系统∑a转换到工件坐标系统∑w的参数,检测绝对坐标系统∑a中的操作进行中位置的坐标,将检测到的绝对坐标系统∑a中的操作进行中位置的坐标转换为工件坐标系统∑w,将转换结果与预先存储的操作坐标进行比较,并定位与操作进行中位置对应的操作位置。
在这种情况下,线性执行的或在平面上执行的操作对应于这样的点所在的位置,其中所述点包含有已经定位操作位置的各点的一个或多个操作进行中位置和一个操作完成位置。因此,某些实施例可应用于线性执行的或在平面上执行的操作。随意确定发出操作进行中信号的时间。
在用以实现本发明的上述方案中,绝对坐标系统∑a和工件坐标系统∑w是正交坐标系统,但是显然地可使用例如极坐标系统等的其它坐标系统。
在图11所示的实例中,存在两个图形化地表示工件204的区域。另一方面,存在仅需要在一个表面上操作的工件204,以及需要在三个或更多表面上操作的工件204。优选地,根据要处理的表面数目来适当调节显示区域的数目。当在一个过程中存在多个要执行的操作时,按预定顺序执行这些操作,优选地,操作监控器212显示用以表示操作顺序的指令。
Claims (18)
1.一种操作位置定位系统,用于在产品制造过程中在产品上定位操作位置,其中所述产品制造过程包含使用工具待执行的一个或多个操作,该系统包括:
完成信号接收单元,接收所述工具的完成信号,其中所述完成信号表示完成了使用所述工具的操作;
操作完成坐标检测单元,其处理多个图像,所述多个图像通过从多个视点拍摄包含操作完成位置的范围而获得,以检测表示所述操作完成位置的一组操作完成坐标,其中所述操作完成位置为在接收到所述完成信号时完成该操作的位置;和
操作位置定位单元,其获取关于所述一个或多个操作中每一个操作的一组操作坐标,并基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与所述操作完成位置对应的操作位置,其中所述操作坐标表示作为待执行操作的位置的操作位置。
2.如权利要求1所述的操作位置定位系统,其中
所述操作完成坐标检测单元检测所述工具的位置和方向,并基于检测到的所述工具的位置和方向来计算该组操作完成坐标。
3.如权利要求2所述的操作位置定位系统,其中
通过利用图像识别来检测附着至所述工具的工具标记,检测所述工具的位置和方向。
4.如权利要求3所述的操作位置定位系统,其中
所述工具标记包括基底单元和从所述基底单元延伸的多个凸出部;
所述基底单元具有高反射率并且所述多个凸出部具有低反射率,或者所述基底单元具有低反射率并且所述多个凸出部具有高反射率;和
在将所述工具标记附着在所述工具上时,所述多个凸出部的每一个采取关于所述多个凸出部的公共轴基本径向对称的形式。
5.如权利要求1所述的操作位置定位系统,其中
所述操作完成坐标由第一坐标系统表示;
所述操作坐标由基于该产品的第二坐标系统表示;
所述操作位置定位系统还包括:参数确定单元,其检测由该第一坐标系统表示的关于该产品或与该产品具有预定位置关系的对象的位置和方向,以确定在所述第一坐标系统与所述第二坐标系统之间进行坐标转换所需的参数值;和
所述操作位置定位单元使用参数转换坐标以便由同一坐标系统表示所述操作完成位置和所述操作位置,并定位与所述操作完成位置对应的操作位置。
6.如权利要求5所述的操作位置定位系统,其中
所述坐标转换是从所述第一坐标系统到所述第二坐标系统的转换。
7.如权利要求5所述的操作位置定位系统,其中
通过将该产品固定至操作台来执行所述操作,其中所述操作台的位置和方向中的至少一个可被调节,并且所述操作台配置有操作台标记;
关于所述多个图像的拍摄范围包括所述操作台;
所述参数确定单元通过利用图像识别在所述多个图像上检测操作台标记,来检测由所述第一坐标系统表示的所述操作台的位置和方向,以及基于所述操作台的位置和方向确定所述参数值。
8.如权利要求7所述的操作位置定位系统,其中
所述操作台标记具有基底单元和从所述基底单元延伸的凸出部,其中所述基底单元具有附着至所述操作台的附着表面;
所述基底单元具有高反射率并且所述凸出部具有低反射率,或者所述基底单元具有低反射率并且所述凸出部具有高反射率;
通过将多个所述操作台标记附着至所述操作台,或者通过向所述操作台标记提供多个凸出部,使得所述多个凸出部对应于所述操作台;和
基于所述多个凸出部的外观差异和所述多个凸出部的排列图案中的至少一个来检测所述操作台的位置和方向。
9.如权利要求1所述的操作位置定位系统,还包括:
显示单元,其通过使用字符、符号、图像、声音或者上述组合,来显示与对应于所定位的操作位置的操作有关的操作信息。
10.如权利要求1所述的操作位置定位系统,其中
基于定位所述操作位置的结果来管理处理信息,所述处理信息表示待执行的所述操作中哪一操作已被完成。
11.如权利要求1所述的操作位置定位系统,其中
所述操作为拧螺丝操作;
所述工具为能够检测已经达到指定扭矩的扭矩驱动器;
当施加到螺丝的扭矩达到所述指定扭矩时,所述扭矩驱动器输出完成信号;
所述操作完成坐标检测单元接收所述完成信号,并且在接收到所述完成信号时检测该组操作完成坐标。
12.如权利要求1所述的操作位置定位系统,其中
在线性或平面延伸的范围上待执行所述操作;
所述操作完成坐标检测单元接收在操作进行期间输出了一次或多次的操作进行中信号,并在接收到所述操作进行中信号时,检测表示正在执行所述操作的位置的一组操作进行中坐标;和
所述操作位置定位单元还定位与该组操作进行中坐标对应的操作位置。
13.一种操作位置定位系统,用于在产品制造过程中在产品上定位操作位置,其中所述产品制造过程包含使用工具待执行的一个或多个操作,该系统包括:
完成信号接收单元,接收所述工具的完成信号,其中所述完成信号表示完成了使用所述工具的操作;
操作完成坐标检测单元,其基于对所述完成信号的接收而检测一组操作完成坐标,在所述操作完成坐标中由第一坐标系统表示作为完成该操作的位置的操作完成位置;
参数确定单元,其基于对所述完成信号的接收而检测由该第一坐标系统表示的关于该产品或与该产品具有预定位置关系的对象的位置和方向,以确定在所述第一坐标系统与基于该产品的第二坐标系统之间进行坐标转换所需的参数值;
操作位置定位单元,其获取关于所述一个或多个操作中每一个操作的一组操作坐标,在所述操作坐标中由所述第二坐标系统表示作为待执行操作的位置的操作位置;所述操作位置定位单元使用参数转换坐标,以由同一坐标系统表示所述操作完成位置和所述操作位置;以及所述操作位置定位单元定位与所述操作完成位置对应的操作位置。
14.如权利要求13所述的操作位置定位系统,其中
利用附着至所述工具并能够执行三维测量的传感器的输出,所述操作完成坐标检测单元检测所述操作完成坐标。
15.如权利要求13所述的操作位置定位系统,其中
利用能够执行三维测量的传感器,所述参数确定单元检测在所述第一坐标系统中表示的关于该产品或该对象的位置和方向。
16.一种与处理相对应的操作单元,所述处理包含在产品制造过程中使用工具待执行的一个或多个操作,所述产品制造过程包含一个或多个处理,该操作单元包括:
完成信号接收单元,接收所述工具的完成信号,其中所述完成信号表示完成了使用所述工具的操作;
操作完成坐标检测单元,其处理多个图像,所述多个图像通过从多个视点拍摄包含操作完成位置的范围而获得,以检测表示所述操作完成位置的一组操作完成坐标,其中所述操作完成位置为在接收到所述完成信号时完成该操作的位置;和
操作位置定位单元,其获取关于所述一个或多个操作中每一个操作的一组操作坐标,并基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与所述操作完成位置对应的操作位置,其中所述操作坐标表示作为待执行操作的位置的操作位置。
17.一种在产品制造过程中执行的方法,其中该产品制造过程包含使用工具待执行的一个或多个操作,该方法包括如下步骤:
接收所述工具的完成信号,其中所述完成信号表示完成了使用所述工具的操作;
处理多个图像,所述多个图像通过从多个视点拍摄包含操作完成位置的范围而获得,其中所述操作完成位置为在接收到所述完成信号时完成该操作的位置;
基于所述多个图像的处理结果,检测表示所述操作完成位置的一组操作完成坐标;
获取关于所述一个或多个操作中每一个操作的一组操作坐标,其中所述操作坐标表示作为待执行操作的位置的操作位置;和
基于该组操作完成坐标和所获取的一组或多组操作坐标来定位与所述操作完成位置对应的操作位置。
18.如权利要求17所述的方法,其中
在为每一操作定位每一操作位置的同时,在所述制造过程中制造该产品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007-014338 | 2007-01-24 | ||
JP2007014338 | 2007-01-24 | ||
JP2007014338A JP5022045B2 (ja) | 2007-01-24 | 2007-01-24 | 作業位置を特定するためのシステム、作業セル、方法、製品の製造方法、およびマーカ |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101231521A CN101231521A (zh) | 2008-07-30 |
CN101231521B true CN101231521B (zh) | 2010-11-17 |
Family
ID=39271214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007103053195A Expired - Fee Related CN101231521B (zh) | 2007-01-24 | 2007-12-26 | 操作定位系统、操作单元、方法、产品制造方法和标记 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8761921B2 (zh) |
EP (1) | EP1950638A1 (zh) |
JP (1) | JP5022045B2 (zh) |
CN (1) | CN101231521B (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006001496B4 (de) * | 2006-01-11 | 2019-02-21 | Siemens Aktiengesellschaft | System und Verfahren zur Bestimmung geometrischer Veränderungen eines Werkstücks |
US8311658B2 (en) * | 2008-06-25 | 2012-11-13 | The Boeing Company | System and method for monitoring completed manufacturing operations |
US9256220B1 (en) | 2008-06-25 | 2016-02-09 | The Boeing Company | System and method for monitoring completed manufacturing operations |
KR101424682B1 (ko) * | 2008-08-27 | 2014-08-14 | 무라다기카이가부시끼가이샤 | 픽킹 시스템 및 픽킹 방법 |
US8872889B2 (en) * | 2010-01-14 | 2014-10-28 | Innovmetric Logiciels Inc. | Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device |
US9026242B2 (en) | 2011-05-19 | 2015-05-05 | Taktia Llc | Automatically guided tools |
US9329594B2 (en) * | 2011-06-06 | 2016-05-03 | Paramit Corporation | Verification methods and systems for use in computer directed assembly and manufacture |
JP5836659B2 (ja) * | 2011-06-20 | 2015-12-24 | 三洋機工株式会社 | 締付作業支援装置 |
JP5749091B2 (ja) * | 2011-06-20 | 2015-07-15 | 三洋機工株式会社 | 締付作業支援装置および締付作業支援方法 |
US9898705B2 (en) * | 2011-11-29 | 2018-02-20 | Trimble Inc. | Automated handtool task verification |
JP5930708B2 (ja) * | 2011-12-27 | 2016-06-08 | 三菱電機エンジニアリング株式会社 | 作業管理装置および作業管理システム |
EP3964902B1 (en) | 2012-04-26 | 2024-01-03 | Shaper Tools, Inc. | Systems and methods for performing a task on a material, or locating the position of a device relative to the surface of the material |
JP5924134B2 (ja) * | 2012-05-30 | 2016-05-25 | セイコーエプソン株式会社 | 侵入検出装置,ロボットシステム,侵入検出方法および侵入検出プログラム |
JP5806184B2 (ja) * | 2012-09-03 | 2015-11-10 | 本田技研工業株式会社 | 組立て管理システム |
JP6052496B2 (ja) * | 2012-11-09 | 2016-12-27 | 株式会社日立プラントコンストラクション | 作業管理システム及び作業管理方法 |
CN104010183B (zh) * | 2012-11-21 | 2017-03-01 | 豪威科技股份有限公司 | 包括至少一个拜耳型摄像机的阵列系统及关联的方法 |
JP6156840B2 (ja) * | 2013-07-02 | 2017-07-05 | トヨタ自動車東日本株式会社 | 作業管理システム |
KR101542996B1 (ko) * | 2014-03-25 | 2015-08-07 | 현대자동차 주식회사 | 마운팅 핀 직진도 관리 시스템 및 그 제어 방법 |
JP6399437B2 (ja) | 2014-06-04 | 2018-10-03 | パナソニックIpマネジメント株式会社 | 制御装置及びそれを用いた作業管理システム |
CN105603383B (zh) * | 2014-11-24 | 2017-12-29 | 中晟光电设备(上海)股份有限公司 | 托盘晶圆定位系统、方法及mocvd设备 |
US9869996B2 (en) * | 2015-01-08 | 2018-01-16 | The Boeing Company | System and method for using an internet of things network for managing factory production |
JP6968700B2 (ja) | 2015-05-13 | 2021-11-17 | シェイパー ツールズ, インク.Shaper Tools, Inc. | 案内工具用のシステム、方法、および装置 |
CN104965489A (zh) * | 2015-07-03 | 2015-10-07 | 昆山市佰奥自动化设备科技有限公司 | 基于机器人的ccd自动对位组装系统及方法 |
JP6670161B2 (ja) * | 2016-04-27 | 2020-03-18 | 株式会社キーエンス | 光学式三次元座標測定器及びその計測方法 |
JP6722502B2 (ja) * | 2016-04-27 | 2020-07-15 | 株式会社キーエンス | 三次元座標測定器 |
CN114879598A (zh) | 2016-08-19 | 2022-08-09 | 整形工具股份有限公司 | 用于共享工具制造和设计数据的系统、方法和装置 |
JP6852381B2 (ja) * | 2016-12-16 | 2021-03-31 | 富士通株式会社 | 配置人数決定装置、配置人数決定方法及び配置人数決定プログラム |
JP2019086827A (ja) * | 2017-11-01 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
GB2570100B (en) * | 2017-11-15 | 2022-10-26 | Mo Sys Engineering Ltd | Tool positioning |
US11586175B2 (en) | 2017-12-08 | 2023-02-21 | Connectec Japan Corporation | Tool, task management device, task management method, and task management system |
FR3076234B1 (fr) * | 2017-12-29 | 2021-06-04 | Altran Tech Altran | Systeme de localisation d'un outil par rapport a une surface |
JP7087882B2 (ja) * | 2018-09-26 | 2022-06-21 | オムロン株式会社 | 品質予測装置、品質予測方法、及び品質予測プログラム |
CN113195165A (zh) * | 2018-12-14 | 2021-07-30 | 株式会社富士金 | 作业管理装置、作业管理方法以及作业管理系统 |
JP7482456B2 (ja) * | 2019-02-20 | 2024-05-14 | パナソニックIpマネジメント株式会社 | 待機位置決定装置および待機位置決定方法 |
JP6768865B2 (ja) * | 2019-03-18 | 2020-10-14 | 大豊精機株式会社 | 作業管理システム及び作業管理方法 |
JP7491730B2 (ja) | 2020-04-30 | 2024-05-28 | 株式会社トプコン | 作業管理システム,作業管理方法,そのための作業管理プログラム |
CN112508997B (zh) * | 2020-11-06 | 2022-05-24 | 霸州嘉明扬科技有限公司 | 航拍图像的视觉对位算法筛选及参数优化系统和方法 |
CN115100131B (zh) * | 2022-06-17 | 2023-04-28 | 成都新西旺自动化科技有限公司 | 一种高精度视觉对位方法和系统 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59189415A (ja) * | 1983-04-13 | 1984-10-27 | Hitachi Ltd | 工業用ロボツトの動作教示方法および装置 |
CA1216343A (en) * | 1983-05-02 | 1987-01-06 | Tomohiro Murata | Method and apparatus for controlling an operation sequence of a machinery |
DE3637236A1 (de) * | 1986-11-03 | 1988-05-19 | Stabil Elektronik Gmbh | Steuerungs- und ueberwachungsanordnung fuer ein werkzeug |
JPH0623631A (ja) * | 1991-01-21 | 1994-02-01 | Amadasonoike Co Ltd | ねじ締め装置 |
JPH05138498A (ja) * | 1991-11-19 | 1993-06-01 | Yaskawa Electric Corp | 多種類ワーク搬送用パレツト及びそのワーク位置検出方法 |
JPH05185329A (ja) * | 1992-01-16 | 1993-07-27 | Sony Corp | ビス締結装置 |
JP2000047705A (ja) * | 1998-07-28 | 2000-02-18 | Hitachi Ltd | 作業指示装置 |
DE19843162C2 (de) * | 1998-09-21 | 2001-02-22 | Alfing Montagetechnik Gmbh | Bearbeitungsvorrichtung mit einem Bearbeitungswerkzeug zur Bearbeitung eines Werkstücks |
US7474760B2 (en) * | 1998-10-22 | 2009-01-06 | Trimble Ab | Contactless measuring of position and orientation |
WO2000037884A1 (fr) * | 1998-12-22 | 2000-06-29 | Mitsubishi Denki Kabushiki Kaisha | Procede et appareil permettant de mesurer des erreurs de positionnement au moyen d'un repere, et appareil d'usinage susceptible de corriger des erreurs en fonction de resultats de mesure |
JP5172055B2 (ja) * | 2000-09-04 | 2013-03-27 | 株式会社東日製作所 | ジョイント係数測定器 |
AU2001292176A1 (en) * | 2000-10-11 | 2002-04-22 | Ingersoll-Rand Company | Electronically controlled torque management system for threaded fastening |
US6763573B2 (en) * | 2001-11-19 | 2004-07-20 | Lms-Walt, Inc. | Assembly system for monitoring proper fastening of an article of assembly at more than one location |
DE10205605A1 (de) * | 2002-02-11 | 2003-08-21 | Runald Meyer | Verfahren zur Montage von Einzelteilen an Handmontagearbeitsplätzen |
US6762426B1 (en) * | 2002-04-08 | 2004-07-13 | Ronald D. Gilliam | Threaded fastener inspection method |
US7359762B2 (en) * | 2002-04-18 | 2008-04-15 | Black & Decker Inc. | Measurement and alignment device including a display system |
DE10221032B4 (de) * | 2002-05-03 | 2016-03-24 | Volkswagen Ag | Verfahren und Vorrichtung zur computerunterstützten Montage von Werkstücken |
US6871684B2 (en) * | 2002-08-13 | 2005-03-29 | The Boeing Company | System for identifying defects in a composite structure |
US6912047B2 (en) * | 2002-12-13 | 2005-06-28 | The Boeing Company | Apparatus, method and system for inspecting a fastener |
JP2004258855A (ja) * | 2003-02-25 | 2004-09-16 | Toyota Motor Corp | 作業品質管理システム及び作業品質管理方法 |
US7065176B2 (en) * | 2003-05-28 | 2006-06-20 | General Electric Company | Method and system to inspect a component |
JP2005138223A (ja) * | 2003-11-06 | 2005-06-02 | Fanuc Ltd | ロボット用位置データ修正装置 |
US20050175217A1 (en) * | 2004-02-05 | 2005-08-11 | Mueller Louis F. | Using target images to determine a location of a stage |
JP2005250990A (ja) * | 2004-03-05 | 2005-09-15 | Mitsubishi Electric Corp | 作業支援装置 |
DE102004021536A1 (de) | 2004-05-03 | 2005-12-08 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Herstellen von Schraubverbindungen |
KR100601957B1 (ko) * | 2004-07-07 | 2006-07-14 | 삼성전자주식회사 | 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치 |
JP4610249B2 (ja) * | 2004-07-12 | 2011-01-12 | 日産自動車株式会社 | 対話理解装置 |
US7698010B2 (en) * | 2004-09-29 | 2010-04-13 | Haeger, Inc. | Methods, systems and computer program products for altering video images to aid an operator of a fastener insertion machine |
US7679758B2 (en) * | 2005-04-29 | 2010-03-16 | Microview Technologies Pte Ltd. | Fastener inspection system and method |
DE102005022344B4 (de) * | 2005-05-13 | 2008-06-19 | Siemens Ag | Vorrichtung und Verfahren zur Werkstückeinmessung |
US9027218B2 (en) * | 2005-09-13 | 2015-05-12 | Gudmunn Slettemoen | Opto-mechanical postion finder |
JP4042780B2 (ja) * | 2005-11-04 | 2008-02-06 | オムロン株式会社 | 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置 |
JP2007214212A (ja) * | 2006-02-07 | 2007-08-23 | Matsushita Electric Ind Co Ltd | 実装状態判定方法、実装状態判定プログラム、実装状態判定装置、実装方法 |
US7984657B2 (en) * | 2006-11-17 | 2011-07-26 | General Electric Company | Method for operating a torque system configured to tighten a series of fasteners |
-
2007
- 2007-01-24 JP JP2007014338A patent/JP5022045B2/ja not_active Expired - Fee Related
- 2007-11-28 EP EP07121757A patent/EP1950638A1/en not_active Ceased
- 2007-11-29 US US11/947,255 patent/US8761921B2/en not_active Expired - Fee Related
- 2007-12-26 CN CN2007103053195A patent/CN101231521B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20080177417A1 (en) | 2008-07-24 |
CN101231521A (zh) | 2008-07-30 |
JP5022045B2 (ja) | 2012-09-12 |
EP1950638A1 (en) | 2008-07-30 |
JP2008181344A (ja) | 2008-08-07 |
US8761921B2 (en) | 2014-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101231521B (zh) | 操作定位系统、操作单元、方法、产品制造方法和标记 | |
US11358180B2 (en) | Workpiece collecting point units and methods for supporting the processing of workpieces | |
JP6993061B2 (ja) | 仕分け支援方法および平台機械工具 | |
JP5930708B2 (ja) | 作業管理装置および作業管理システム | |
CN101927494B (zh) | 形状检测系统 | |
RU2748005C2 (ru) | Системы, способы и устройство для совместного использования данных об изготовлении инструмента и конструктивных данных | |
US11312570B2 (en) | Method and apparatus for visual support of commission acts | |
EP1709519B1 (en) | A virtual control panel | |
US9448758B2 (en) | Projecting airplane location specific maintenance history using optical reference points | |
EP2085849A2 (en) | Method and system for manufacturing an article using portable hand-held tools | |
JP6412055B2 (ja) | 射出成形機管理システム | |
CN104889904A (zh) | 质量有保证的制造 | |
EP2643792A2 (en) | Load tracking utilizing load identifying indicia and spatial discrimination | |
KR102104326B1 (ko) | 증강현실 기반 정비 교육 시스템 및 방법 | |
WO2012142250A1 (en) | Augumented reality system | |
JP2007164446A (ja) | 製造工程管理システム | |
JP2002172549A (ja) | 眼鏡レンズ加工方法及びレンズメータ | |
JP4764000B2 (ja) | 工具等管理システム | |
TW202210976A (zh) | 用於即時監控機械加工工具的使用和磨損的智能管理系統 | |
US20210187728A1 (en) | Workbench system | |
JP4571894B2 (ja) | 部品特定プログラム | |
JP4996981B2 (ja) | 作業管理システムおよび作業管理方法 | |
US20050166689A1 (en) | Mark provided in an environment to be measured and measuring system comprising same | |
WO2022234727A1 (ja) | 工具システム、処理方法、プログラム、及び工具装置 | |
CN115988127A (zh) | 电力设备操作演示系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101117 Termination date: 20141226 |
|
EXPY | Termination of patent right or utility model |