CN104023906B - 操作管理装置及操作管理系统 - Google Patents

操作管理装置及操作管理系统 Download PDF

Info

Publication number
CN104023906B
CN104023906B CN201280064775.4A CN201280064775A CN104023906B CN 104023906 B CN104023906 B CN 104023906B CN 201280064775 A CN201280064775 A CN 201280064775A CN 104023906 B CN104023906 B CN 104023906B
Authority
CN
China
Prior art keywords
labelling
storage part
dimensional position
view data
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280064775.4A
Other languages
English (en)
Other versions
CN104023906A (zh
Inventor
松下浩延
海田诚
清水隆纪
片山笃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN104023906A publication Critical patent/CN104023906A/zh
Application granted granted Critical
Publication of CN104023906B publication Critical patent/CN104023906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00—Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • B25B23/142—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for hand operated wrenches or screwdrivers
    • B25B23/1422—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for hand operated wrenches or screwdrivers torque indicators or adjustable torque limiters
    • B25B23/1425—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for hand operated wrenches or screwdrivers torque indicators or adjustable torque limiters by electrical means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by assembly
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B23P19/06—Screw or nut setting or loosening machines
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31027—Computer assisted manual assembly CAA, display operation, tool, result
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37618—Observe, monitor position, posture of tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45127—Portable, hand drill
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Assembly (AREA)
  • Details Of Spanners, Wrenches, And Screw Drivers And Accessories (AREA)
  • General Factory Administration (AREA)

Abstract

照相机(3)拍摄工件上所附加设置的原点标记与扭力扳手上所附加设置的检查标记。操作管理装置(10)的标记识别部(12)根据照相机(3)拍摄得到的图像数据来识别标记，标记位置计算部(13)计算出相对于原点标记的三维位置的检查标记的三维位置。若标记位置计算部(13)计算出的检查标记的三维位置位于操作步骤存储部(16)中所预先设定的螺钉紧固操作区域内，则操作正误判定部(17)判定为在正确的位置进行操作，若不在螺钉紧固操作区域内，则操作正误判定部(17)经由通知部(18)向操作者通知操作位置发生了错误。

Description

操作管理装置及操作管理系统
技术领域
本发明涉及利用AR标记(marker)的拍摄图像检测操作位置，并判定操作是否正确的操作管理装置及操作管理系统。
背景技术
例如专利文献1中记载有在操作者利用手持的紧固工具进行螺钉紧固时，确定进行螺钉紧固的位置的技术。该专利文献1所涉及的紧固位置检测装置包括：将基准位置与紧固工具相连接，且自由变形的带状构件；检测出该带状构件的扭转与弯曲的光纤传感器；以及运算部，该运算部根据基于来自设置于带状构件的光纤传感器的信号的带状构件的整体形状来计算紧固工具的相对于基准位置的三维位置。
现有技术文献
专利文献
专利文献1：
日本专利特开2010-85390号公报
发明内容
发明所要解决的技术问题
现有的紧固位置检测装置如上所述那样构成，因此连接基准位置与紧固工具的带状构件可能会与被紧固构件及操作者相接触，因此存在操作性较差的问题。此外，设置于带状构件的光纤传感器由于在操作中常常被弯曲，因此存在发生故障的可能性较高的问题。并且，对于每个紧固位置检测装置均需要专用的紧固工具和基准位置，因此存在变得昂贵的问题。
本发明是为了解决上述问题而完成的，因此其目的在于提供一种不会对操作者的操作造成干扰，并能以低廉的价格进行构建的操作管理装置及操作管理系统。
解决技术问题所采用的技术方案
本发明所涉及的操作管理装置包括：标记识别部，该标记识别部取得图像数据，该图像数据通过拍摄使用附加设置有第一标记的工具对工作物进行操作的操作区域而得到，且该标记识别部识别包含在该图像中的第一标记；标记位置计算部，该标记位置计算部基于图像数据计算出标记识别部所识别出的第一标记相对于设定在规定的三维位置的原点的三维位置；操作步骤存储部，该操作步骤存储部设定有进行操作时的工具的三维位置信息；以及操作正误判定部，该操作正误判定部将标记位置计算部计算出的第一标记的三维位置与操作步骤存储部所具有的工具的三维位置相对照，来判定进行操作的位置的正误。
此外，本发明所涉及的操作管理装置包括：标记识别部，该标记识别部取得图像数据，该图像数据通过拍摄使用附加设置有第一标记的工具对工作物进行操作，并在规定位置附加设置有第二标记的操作区域而得到，且该标记识别部识别包含在该图像中的第一标记和第二标记；标记位置计算部，该标记位置计算部基于图像数据，将标记识别部所识别出的第二标记的三维位置作为原点，并计算出标记识别部所识别出的第一标记相对于该原点的三维位置；操作步骤存储部，该操作步骤存储部设定有进行操作时的工具的三维位置信息；以及操作正误判定部，该操作正误判定部将标记位置计算部计算出的第一标记的三维位置与操作步骤存储部所具有的工具的三维位置相对照，来判定进行操作的位置的正误。
此外，本发明所涉及的操作管理系统包括：至少附加设置于工具的标记；对使用工具对工作物进行操作的操作区域进行拍摄的1台以上的拍摄装置；以及取得拍摄装置所拍摄到的图像数据，来判定操作的正误的上述操作管理装置。
发明效果
根据本发明，使用对附加设置在工具上的标记进行拍摄而得到的图像数据计算出该标记的三维位置，通过将该标记的三维位置与预先设定的操作时的工具的三维位置相对照来判定操作的正误，由于无需对工具与操作管理装置进行有线连接，因此操作者能在行动范围没有限制的情况下进行移动。此外，由于能使用通用的工具，因此能以低廉的价格构建系统。
附图说明
图1是表示本发明的实施方式1所涉及的操作管理系统的结构的框图。
图2是说明实施方式1所涉及的操作管理系统的管理对象的立体图。
图3是表示实施方式1所涉及的操作管理系统中所使用的AR标记的示例的图。
图4是表示实施方式1所涉及的操作管理装置所使用的拍摄图像的一个示例的图。
图5是表示实施方式1所涉及操作管理装置的动作的流程图。
图6是表示实施方式1所涉及的操作管理装置的操作履历存储部所存储的操作履历的一个示例的图。
图7是说明实施方式1所涉及的操作管理装置的操作正误判定部的处理的图。
图8是表示本发明的实施方式2所涉及的操作管理系统的结构的框图。
图9是说明本发明的实施方式3所涉及的操作管理系统的管理对象的立体图。
图10是说明本发明的实施方式4所涉及的操作管理系统的管理对象的立体图。
具体实施方式
下面，为了更详细地说明本发明，根据附图对用于实施本发明的方式进行说明。
实施方式1
图1所示的操作管理系统是拍摄操作者使用手持的工具将螺钉等固定零部件安装于工作物(工件)的情形，并基于图像数据对紧固操作进行监视及管理的系统。图2示出了管理对象的一个示例。此处，关于操作者使用扭力扳手2，将未图示的螺钉固定于工件1上表面的四个角上所设置的螺纹孔1a～1d的操作，说明操作管理装置10对进行螺钉紧固的位置及螺钉紧固的顺序等进行监视及管理的情况。
如图2所示，在工件1上表面的四个角设置有用于固定螺钉的螺纹孔1a～1d。此外，在工件1上表面的规定位置(例如中心部)设有原点标记20。
另外，工件1的形状、螺纹孔1a～1d的位置及个数等并不限于图示例，可以是任意的。
作为工具的扭力扳手2中附加设置有检查标记21。此外，扭力扳手2中安装有通信机2a，若紧固的转矩在预先设定的转矩值以上，即成为转矩上升状态，则发送表示达到规定转矩这一信息的信号(以下称为转矩上升信号)和此时的转矩值。通过无线连接的接收机2b接受该转矩上升信号和转矩值，并输出至操作管理装置10的工具状态检测部15。
扭力扳手2也可以不采用同时发送转矩上升信号和此时的转矩值这两者的结构，而采用仅发送转矩上升信号或转矩值的结构。
此外，举例示出了扭力扳手2来作为工具，但并不限定于此，例如也可以是电动螺丝刀等。在该情况下，也采用能将转矩上升信号、转矩值、转速等信息输出至操作管理装置10的结构。
原点标记20和检查标记21就是所谓的AR(Augmented Reality：增强现实)标记。图3示出了AR标记的另一个示例。
作为AR标记，使用例如在白色背景上配置黑色图案的正方形的二维图像。在AR标记的黑色框所包围的白底部分来绘制原点标记20和检查标记21互不相同的黑色图案。此外，为了区别AR标记的上下左右，该图案为非线对称的形状。并且，在上下方向及左右方向上，将黑框:白底部分:黑框的比例设为黑框:白底部分:黑框＝1:2:1。此外，利用照相机3对AR标记进行拍摄，并在操作管理装置10中进行图像处理，因此优选对AR标记的表面实施处理，以使其不发光。
另外，AR标记可以是图2及图3所示形状以外的形状，此外，也可以使用黑白以外的颜色。
照相机3被固定在相对于放置在底座上的工件1的规定位置，以规定的采样时间间隔拍摄包含工件1的螺纹孔1a～1d的操作区域，并将图像数据输出至操作管理装置10。作为该照相机3，使用能将图像数据实时地输出至操作管理装置10的WEB照相机等通用的拍摄装置即可。
图2的示例中，将工件1的上表面设为XY平面，在与该XY平面垂直的Z方向的规定高度位置上设置照相机3。
图4示出了拍摄图像的一个示例。该图像是在结束对一个螺纹孔1a进行的螺钉紧固后，进行下一个螺纹孔1b的螺钉紧固操作时所拍摄的图像，显示有附加设置于工件1的原点标记20和附加设置于扭力扳手2的检查标记21。
另外，在照相机3中安装偏振滤光镜来减轻光的反射，也可以安装减光滤光镜来降低照度。由此，能可靠地拍摄原点标记20和检查标记21。
操作管理装置10将照相机3的图像数据、接收机2b的转矩上升信号和此时的转矩值用作输入，来监视和管理使用扭力扳手2的螺钉紧固操作。作为该操作管理装置10例如使用个人计算机，CPU(Central Processing Unit)执行存储于未图示的程序存储器中的程序，从而执行标记识别部12、标记位置计算部13、工具状态检测部15、操作正误判定部17、通知部18、及工具驱动控制部19的处理内容。
以下，参照图5所示的流程图，同时对操作管理装置10的动作的一个示例进行说明。操作管理装置10每隔规定的采样时间重复进行图5所示的步骤ST1～ST9的处理。
标记定义存储部11中预先存储有每个AR标记的定义信息。作为原点标记20的定义信息设定有原点标记20的白底部分所绘制的图案信息、表示原点位置的信息等。作为检查标记21的定义信息设定有检查标记21的白底部分所绘制的图案信息、表示扭力扳手2所处位置的信息、及扭力扳手2的能力范围的信息等。并且，若除了扭力扳手2以外还具有工具，则附加设置AR标记，并对各AR标记预先设定工具的类别等定义信息。此外，在需要区别能力范围不同的扭力扳手的情况下，对每个扭力扳手附加设置不同的AR标记，并分别预先设定定义信息。
标记识别部12从照相机3取得图像数据(步骤ST1)，在取得的图像上识别AR标记的图像，计算出二维位置、大小、形状等信息，并且基于存储于标记定义存储部11中的定义信息来辨别所识别到的AR标记是原点标记20还是检查标记21(步骤ST2)。然后，从标记识别部12向标记位置计算部13输出识别结果。
标记位置计算部13基于标记识别部12的识别结果，计算出原点标记20和检查标记21的三维位置及姿势(朝向、倾斜等)(步骤ST3)。作为计算AR标记的三维位置与姿势的方法可以使用已知的技术(例如，日本专利特开平7-98214号公报)，因此省略详细说明。
此时，标记位置计算部13将原点标记20的三维位置设为原点，计算出检查标记21的相对于该原点的三维位置。之后，将计算出的检查标记21的三维位置作为扭力扳手2的位置来处理。
然后，从标记位置计算部13向操作履历存储部14输出扭力扳手2的位置坐标。
工具状态检测部15是与接收机2b之间输入输出信息的接口。若接收机2b接收转矩上升信息和此时的转矩值，则工具状态检测部15取得它们的信息(步骤ST4)，并输出至操作履历存储部14。
另外，实施步骤ST4的处理的时刻并不限于此，只要在实施步骤ST6的处理之前的任意时刻进行即可。此外，在图5的动作例中，每隔采样时间重复进行步骤ST1～ST3的处理，将转矩上升信号的取得作为契机，转移至步骤ST6以后的处理。
操作履历存储部14存储有从标记位置计算部13输入的每隔采样时间的扭力扳手2的位置坐标(相对于原点的X、Y、Z坐标)、以及在任意时刻从工具状态检测部15输入的转矩上升信号和此时的转矩值(步骤ST5)。
图6中示出了操作履历的一个示例。作为由标记位置计算部13所计算出的扭力扳手2的位置，分别登录X坐标、Y坐标及Z坐标的值。此外，在工具状态检测部15取得转矩上升信号时登录“*”，并且也登录此时的转矩值。螺钉紧固操作位置和正误判定结果将在后文中详细阐述。
另外，在扭力扳手2是仅输出转矩上升信息和转矩值中的某一方的类型时，仅将某一方的信息登录到操作履历存储部14中即可。
另外，可以从标记识别部12向操作履历存储部14输出照相机3拍摄的图像数据，并将图像数据储存在操作履历存储部14中。通过保存每隔采样时间拍摄的所有图像数据，或者保存在接收到转矩上升信号时所拍摄的图像数据，从而能在螺钉紧固操作后进行操作步骤的确认。此外，能保留该图像数据以作为螺纹孔1a～1d已全部固定有螺钉的证据。
或者，也可以仅保存对螺纹孔1a～1d的螺钉紧固操作已完成时的图像数据。在该情况下，例如采用在完成螺钉紧固操作时自动或手动地向操作管理装置10输出信号的结构，在操作管理装置10一侧，将从外部输入操作完成的信号时的图像数据存储于操作履历存储部14中。通过采用该结构，可对数据容量进行控制、并能保留该图像数据以作为螺纹孔1a～1d已全部固定有螺钉的证据。
并且，在操作履历存储部14中储存图像数据时，也可以对该图像数据附加与AR标记的信息相关联的检索关键词来进行存储。例如，在标记识别部12识别到检查标记21时，对此时的图像数据附加表示检查标记21的检索关键词，操作履历存储部14记录检索关键词和图像数据。由此，能利用表示检查标记21的检索关键词容易地从工件1的全体制造工序的图像数据中检索出拍摄了使用扭力扳手2的螺钉紧固操作的工序的图像数据。
操作步骤存储部16中预先存储有螺钉紧固操作的位置信息和顺序信息。
在图2的示例中，照相机3和工件1的位置关系被固定，并且在工件1的规定位置附加设置有原点标记20，因此能事先求出拍摄图像上螺纹孔1a～1d相对于原点的位置。基于事先求出的螺纹孔1a～1d的位置，确定进行螺钉紧固操作的螺钉紧固操作位置的坐标，并将其登录到操作步骤存储部16。另外，考虑到计算AR标记的三维位置时的误差，也可以使螺钉紧固操作位置具有宽度，从而作为螺钉紧固操作区域。此处，将对于螺纹孔1a的螺钉紧固操作区域设为A，对于螺纹孔1b的螺钉紧固操作区域设为B，对于螺纹孔1c的螺钉紧固操作区域设为C，对于螺纹孔1d的螺钉紧固操作区域设为D。
此外，作为顺序信息，登录螺钉紧固操作区域A、B、C、D的顺序。
操作正误判定部17参照操作履历存储部14和操作步骤存储部16，判定操作者所进行的螺钉紧固操作的位置及顺序是否正确(步骤ST6)。然后，操作正误判定部17在判定为螺钉紧固操作的位置及顺序正确的情况下(步骤ST7为“是”)，将该判定结果输出至操作履历存储部14(步骤ST8)。另一方面，在判定为螺钉紧固操作的位置及顺序错误的情况下(步骤ST7为“否”)，将该意思的信息输出至通知部18(步骤ST9)，并将判定结果输出至操作履历存储部14(步骤ST8)。
具体而言，操作正误判定部17对存储于操作履历存储部14的扭力扳手2的位置和存储于操作步骤存储部16的螺钉紧固操作区域进行对照，若扭力扳手2的位置在螺钉紧固操作区域内(或者与螺钉紧固操作位置相一致)，则判定为正在该位置进行螺钉紧固操作，并将该螺钉紧固操作区域输出至操作履历存储部14。由此，在图6所示的操作履历中，在判定为正进行螺钉紧固操作的时刻的螺钉紧固操作区域的项目中登录有A、B等位置信息。
图7是说明操作正误判定部17的正误判定处理的图。图7的图像与图4的拍摄图像相对应，黑点是标记位置计算部13基于原点标记20计算出的原点。灰点是标记位置计算部13基于检查标记21计算出的各时刻的扭力扳手2的位置，与图6的操作履历的X、Y、Z坐标相对应。斜线所表示的区域预先登录在操作步骤存储部16中，是相对于原点的螺钉紧固操作区域。此外，为了参考，以大叉来表示相当于螺纹孔1a～1d的位置。
若以灰点表示的扭力扳手2的位置在以斜线表示的螺钉紧固操作区域中，则操作正误判定部17判定为正进行螺钉紧固操作。另外，虽未图示，但螺钉紧固操作区域除了X、Y方向以外，也设定在Z方向上，当扭力扳手2位于从工件1的上表面起算的规定高度以上的位置时，判定为没有进行螺钉紧固操作。
此外，操作正误判定部17将存储于操作履历存储部14的转矩上升信号取得时刻的该螺钉紧固操作区域(图6的示例中时刻8:01:00的螺钉紧固操作位置A)的顺序与存储于操作步骤存储部16的顺序信息相对照，若一致，则判定为以正确的顺序进行了螺钉紧固操作。由此，能检测出操作者进行螺钉紧固操作的顺序错误的情况和忘记紧固的情况等。
此外，该示例中，将转矩上升信号的取得视为完成了螺钉紧固操作，但在没有转矩上升信号等表示完成螺钉紧固操作的信息时，也可以根据扭力扳手2的位置与螺钉紧固操作区域相一致的时间的长短来判定是否已进行螺钉紧固操作。此外，在电动螺丝刀等在螺钉紧固操作中会产生声音的工具的情况下，也可以根据是否有该声音来判定是否已完成了螺钉紧固操作。或者，也可以使用电动螺丝刀的转速或者旋转结束的信号等。
接着，操作正误判定部17在判定为螺钉紧固操作的顺序正确的情况下，在操作履历存储部14的正误判定结果的项目中登录表示正确的“○”。另一方面，在判定为错误的情况下，在操作履历存储部14的正误判定结果的项目中登录表示错误的“×”，并且向通知部18输出表示以错误的顺序进行螺钉紧固操作的信息。此外，也可以输出表示正确的螺钉紧固操作位置的信息。
此外，操作正误判定部17也可以对位置和顺序以外的项目进行正误判定。在例如扭力扳手2为输出转矩值的类型的情况下，操作正误判定部17也可以将存储在操作履历存储部14中的转矩值与预先设定在操作步骤存储部16中的转矩值相对照，来判定是否以正确的转矩值进行螺钉紧固操作，并将转矩值的适应性判定结果登录于操作履历存储部14。
此外，例如，操作正误判定部17也可以基于检查标记21的定义信息来判定使用了哪种工具(扭力扳手、电动螺丝刀等)，并将工具种类登录于操作履历存储部14。并且，即使是同一种类的工具，也可以基于检查标记21的定义信息来判定能力范围(是50Nm用的扭力扳手、还是100Nm用的扭力扳手等)，并将工具的适应性登录于操作履历存储部14。
例如，图6中，在工具ID的项目中登录有扭力扳手2的工具ID“2”。
此外，例如也能在以预紧固、正式紧固两个阶段进行螺钉紧固操作的情况下进行正误判定。在该情况下，在操作步骤存储部16中作为顺序信息预先存储有预紧固的螺钉紧固操作区域A、B、C、D的顺序和此时的转矩值、以及正式紧固的螺钉紧固操作区域A、B、C、D的顺序和此时的转矩值。然后，操作正误判定部17判定预紧固与正式紧固的各螺钉紧固操作是否按照操作步骤的信息来进行。
通知部18是向显示装置、扬声器等通知装置输出适当的信号的接口，从而向操作者提示信息(步骤ST9)。若存在来自操作正误判定部17的信息输入，则通知部18对表示正以错误的顺序或者错误的转矩值进行螺钉紧固操作的信息进行图像显示，或音频输出。此外，通知部18也可以对表示正确的螺钉紧固操作的位置或者正确的转矩值的信息进行图像显示，或音频输出。
此外，在图5的动作例中，在取得了转矩上升信号后对螺钉紧固操作位置进行正误判定，但判定时刻并不限于此。例如也可以在图5的步骤ST3中每次计算扭力扳手2的位置时，操作正误判定部17均对该位置进行正误判定，并从通知部18将判定结果通知给操作者。由此，操作者能在螺钉紧固操作开始前知道螺钉紧固操作的位置是正确还是错误。
接着，对使用如下类型的工具的情况的一个示例进行说明，该类型的工具从外部接收驱动许可信号并进行驱动。此处，扭力扳手2仅在利用通信机2a从外部(即、操作管理装置10)接收到驱动许可信号的情况下驱动，若成为转矩上升状态，则将转矩上升信号和转矩值的某一方或者双方从通信机2a发送到接收机2b。
操作管理装置10的工具驱动控制部19参照登录于操作履历存储部14的工具的适应性判定结果，来判定扭力扳手2的能力范围是否在操作步骤存储部16中所预先设定的规定能力范围内，若是适当的能力范围则向通信机2a输出驱动许可信号。由此，能够仅在操作者选择了适当的能力范围的扭力扳手2的情况下开始螺钉紧固操作，从而能防止使用错误的能力范围的扭力扳手2来进行螺钉固定操作。
并且，工具驱动控制部19判定登录于操作履历存储部14的每隔采样时间的扭力扳手2的位置是否处于适当的螺钉紧固操作位置，若处于适当的螺钉紧固操作位置，则向通信机2a输出驱动许可信号。作为具体例，若例如在图6的时刻8:00:20登录螺钉紧固操作位置A的位置坐标，则工具驱动控制部19将该位置坐标与操作步骤存储部16的位置信息相对照来判定扭力扳手2的位置是否正确，在正确的情况下向扭力扳手2输出驱动许可信号。接着，工具驱动控制部19基于时刻8:01:00的转矩上升信号停止驱动许可信号的输出，并基于8:01:30的螺钉紧固操作位置B的位置坐标输出驱动许可信号。由此，能够仅在操作者将扭力扳手2移动到适当的螺钉紧固操作位置的情况下开始螺钉紧固操作，从而能防止以错误的顺序对错误的螺纹孔1a～1d进行螺钉紧固操作。
如上所述，根据实施方式1，操作管理装置10包括：标记识别部12，该标记识别部12从照相机3取得图像数据，该图像数据是通过对使用附加设置有检查标记21的扭力扳手2对工件1进行螺钉紧固操作的操作区域、即在规定位置附加设置有原点标记20的操作区域进行拍摄而得到，且该标记识别部12基于标记定义存储部11的定义信息来识别包含在该图像中的原点标记20和检查标记21；标记位置计算部13，该标记位置计算部13基于图像数据将标记识别部12所识别出的原点标记20的三维位置设为原点，计算出标记识别部12所识别出的检查标记21相对于该原点的三维位置；操作步骤存储部16，该操作步骤存储部16设定有表示作为进行螺钉紧固操作时的扭力扳手2的三维位置信息的螺钉紧固操作区域A～D、以及作为进行螺钉紧固操作的顺序的螺钉紧固操作区域A～D的移动顺序的信息；以及操作正误判定部17，该操作正误判定部17将标记位置计算部13计算出的检查标记21的三维位置和其移动顺序与操作步骤存储部16所具有的螺钉紧固操作区域A～D和其移动顺序相对照，来判定进行螺钉紧固操作的位置和顺序的正误。因此，无需为了对螺钉紧固操作的位置和顺序进行正误判定而将扭力扳手2和操作管理装置10有线连接，因此操作者能在行动范围没有限制的情况下进行移动。此外，由于能使用扭力扳手2、电动螺丝刀等通用的工具及通用的照相机3，因此以低廉的价格来构建系统。
此外，根据实施方式1，操作管理装置10具备通知部18，该通知部18将操作正误判定部17的判定结果通知给操作者，并且基于操作步骤存储部16所具有的螺钉紧固操作区域A～D的移动顺序来指示下一个螺钉紧固操作的位置。因此，操作者能以正确的步骤来进行螺钉紧固操作。
此外，根据实施方式1，操作管理装置10具备工具状态检测部15，该工具状态检测部15取得从扭力扳手2输出的固定完成时的转矩值或表示达到规定转矩的转矩上升信号；以及操作履历存储部14，该操作履历存储部14将标记位置计算部13所计算出的检查标记21的三维位置、以及工具状态检测部15所取得的紧固完成时的转矩值或表示达到规定转矩的转矩上升信号与时间信息一起进行存储，因此能进行可跟踪管理。
并且，操作步骤存储部16中按照每个螺钉紧固操作区域A～D设定有进行螺钉紧固操作时的扭力扳手2的转矩值的信息，操作正误判定部17在判定螺钉紧固操作的正误时，将工具状态检测部15所取得的固定完成时的转矩值与操作步骤存储部16所具有的转矩值进行对照，因此除了螺钉紧固操作的位置与顺序的正误以外，也能判定转矩值的正误。
此外，根据实施方式1，操作履历存储部14存储拍摄操作区域而得到的图像数据，因此能在操作后对操作步骤进行确认。
并且，操作履历存储部14将图像数据和与该图像所包含的检查标记21等相关联的检索关键字合并在一起进行存储，因此能在进行操作步骤的确认时容易地检索目的图像。
此外，根据实施方式1，在拍摄操作区域的照相机3中安装有用于减轻操作区域的光反射的滤光镜，因此能可靠地拍摄原点标记20及检查标记21。
另外，在上述实施方式1中，原点标记20附加设置在工件1上，但并不限于此，也可以附加设置在放置工件1的底座等与工件1的位置关系为固定的位置上。
此外，将原点标记20的三维位置作为原点来计算检查标记21的三维位置，但用于对原点进行规定的原点标记20并非是必需的。在如上述实施方式1那样照相机3与工件1的位置关系为固定的情况下，也可省略原点标记20，而预先设定假设的原点的三维位置。在该情况下，标记位置计算部13计算出检查标记21相对于假设的原点的三维位置即可。
实施方式2
图8是表示本发明的实施方式2所涉及的操作管理系统的结构的框图，对与图1相同或相当的部分标注相同的标号，并省略说明。在本实施方式2中，使用多台照相机3-1、3-2从多个方向对工件1进行拍摄。
操作管理装置10分别对多台照相机3-1、3-2所拍摄到的图像数据进行与上述实施方式1相同的处理，并判定螺钉紧固操作的位置及顺序是否正确。
另外，对于一个工件1，可以分别附加设置照相机3-1用的原点标记20和照相机3-2用的原点标记20，也可以在照相机3-1和照相机3-2的共用拍摄范围内附加设置一个原点标记20。或者，如上述实施方式1所述那样，也可以省略原点标记20而设定假设的原点。
此外，照相机3-1、3-2也可以为3台以上。
如上所述，根据实施方式2，操作管理装置10的标记识别部12取得从多个方向拍摄操作区域而得到的多个图像数据，对该多个图像中的至少一个图像所包含的检查标记21进行识别，标记位置计算部13基于检查标记21已被识别的图像数据，来计算检查标记21相对于原点的三维位置。由此，通过对工件1以无死角的方式配置多台照相机3-1、3-2，从而无论操作者及工件1处于怎样的位置均能进行拍摄，进而能对螺钉紧固操作进行正误判定。
此外，通过从多个角度对工件1进行拍摄，也具有抑制由于光的反射而导致的工件1的图像处理精度降低的效果。
实施方式3
图9示出本发明的实施方式3所涉及的操作管理系统的管理对象的一个示例。本实施方式3中，工件1沿顺时针自由旋转，操作者使工件1旋转并改变姿势来进行螺钉紧固操作。在改变工件1的姿势的情况下，如图9所示那样在工件1的规定位置附加设置2个原点标记20-1、20-2。
由于本实施方式3的操作管理装置在图上与图1所示的操作管理装置10具有相同的结构，因此，下面引用图1来进行说明。
在操作管理装置10中，在标记定义存储部11中预先存储有原点标记20-1、20-2及检查标记21的定义信息。标记识别部12在从照相机3取得的图像上识别AR标记，并且基于标记定义存储部11的定义信息来识别这些AR标记是原点标记20-1、原点标记20-2、还是检查标记21。
标记位置计算部13基于标记识别部12的识别结果计算原点标记20-1、20-2、检查标记21的三维位置及姿势。此时，标记位置计算部13将原点标记20-1、20-2的某一方的三维位置设为原点，计算出原点标记20-1、20-2的另一方相对于原点的三维位置。并且，标记位置计算部13基于原点标记20-1、20-2的各三维位置，利用三角测量的原理计算出检查标记21相对于原点的三维位置。计算得到的检查标记21的三维位置作为扭力扳手2的位置存储于操作履历存储部14中。
之后的处理与上述实施方式1相同，因此省略说明。
另外，在图示例中为了利用三角测量的原理来计算检查标记21的三维位置而使用了2个原点标记20-1、20-2，但也可以使用3个以上。
此外，本实施方式3的方法应用于工件1相对于固定的照相机3发生移动的情况，但与之相反，也能应用于照相机3相对于固定的工件1发生移动的情况。
如上所述，根据实施方式3，操作管理装置10的标记识别部12取得拍摄附加设置有原点标记20-1、20-2的操作区域而得到的图像数据，识别该图像中所包含的原点标记20-1、20-2及检查标记21，标记位置计算部13将标记识别部12所识别出的原点标记20-1、20-2的各三维位置作为原点，利用三角测量的原理来计算检查标记21的三维位置。因此，即使在螺钉紧固操作时工件1的姿势发生改变的情况下，也能检测出操作位置，并能判定操作的位置和顺序的正误。
另外，上述实施方式3是能够在工件1与照相机3的位置发生相对变化的情况下检测出扭力扳手2的位置的结构，但也能应用于像上述实施方式1那样工件1与照相机3的位置关系为固定的情况。在该情况下，具有能提高扭力扳手2的位置的检测精度的效果。
实施方式4
图10示出本发明的实施方式4所涉及的操作管理系统的管理对象的一个示例。本实施方式4设为在前工序中将螺钉固定于螺纹孔1e、1f，在本工序中将螺钉固定于螺纹孔1a～1d。于是，在前工序中发生忘记紧固螺钉等不完备的情况下，如图10所示那样在工件1上设置注意标记22。
本工序中，对于附加设置有注意标记22的工件1，操作者首先进行螺纹孔1e、1f的螺钉紧固操作，接着与上述实施方式1同样地进行螺纹孔1a～1d的螺钉紧固操作。
由于本实施方式4的操作管理装置在图上与图1所示的操作管理装置10具有相同的结构，因此，下面引用图1来进行说明。
在操作管理装置10中，在标记定义存储部11中预先存储有原点标记20、检查标记21及注意标记22的定义信息。作为注意标记22的定义信息，设定有用于识别注意标记22的白底部分所绘制的图案信息、表示是在前工序中发生了不完备的工件1的信息等。
此外，在操作步骤存储部16中除了预先存储有表示进行本工序的螺纹孔1a～1d的螺钉紧固操作的位置及顺序的操作步骤的信息以外，还预先存储有表示进行前工序的螺纹孔1e、1f的螺钉紧固操作的位置及顺序的操作步骤的信息。并且，该操作步骤存储部16中还预先存储有表示对附加设置有注意标记22的工件1按照前工序的操作步骤、本工序的操作步骤的顺序实施操作步骤的信息、以及表示对没有注意标记22的工件1仅实施本工序的操作步骤的信息。
标记识别部12在从照相机3取得的图像上识别AR标记，并且基于标记定义存储部11的定义信息来识别这些AR标记是原点标记20、检查标记21、还是注意标记22。此时，若识别为注意标记22，则从标记识别部12向操作履历存储部14输出表示在该工件1上附加设置有注意标记22的注意信息。操作履历存储部14中除了存储有从标记位置计算部13输入的扭力扳手2的位置及从工具状态检测部15输入的转矩上升信号和此时的转矩值以外，还存储从标记识别部12输入的注意信息。
操作正误判定部17根据操作履历存储部14中是否登录有注意信息来切换操作步骤的信息，并进行螺钉紧固操作的正误判定。具体而言，操作正误判定部17首先确认操作履历存储部14中是否登录了注意信息，在没有登录注意信息的情况下，与上述实施方式1相同，判定是否以螺纹孔1a～1d的顺序来进行螺纹紧固操作，并将正误判定结果输出至操作履历存储部14。另一方面，在登录了注意信息的情况下，切换所参照的操作步骤的信息，判定是否以螺纹孔1e、1f、1a～1d的顺序来进行螺钉紧固操作，并将正误判定结果输出至操作履历存储部14。
若从操作正误判定部17向通知部18输入表示以错误的顺序进行螺钉紧固操作的信息，则通知部18将表示这一意思的信息向操作者进行提示。由此，例如在操作者没有注意到工件1的不完备而按着通常的操作步骤开始进行螺纹孔1a的螺钉紧固操作时，能将正确的螺钉紧固操作位置(螺纹孔1e)通知给操作者。
除此以外的处理与上述实施方式1相同，因此省略说明。
另外，对于附加设置有注意标记22的工件1进行的操作并不限于上述说明的示例中的操作。
如上所述，根据实施方式4，操作管理装置10的操作步骤存储部16具有用于判定螺钉紧固操作的正误的多个信息，标记识别部12在图像中包含有新的注意标记22的情况下识别该注意标记22，操作正误判定部17在标记识别部12识别到注意标记22的情况下与未识别到注意标记22的情况下，切换用于判定螺钉紧固操作的正误的信息来进行判定。因此，除了通常的操作步骤，在工件1存在不完备时进行特殊的操作步骤的情况下也能对该操作的正误进行判定。
此外，本申请发明可以在该发明的范围内对各实施方式进行自由组合，或对各实施方式的任意构成要素进行变形、或在各实施方式中省略任意的构成要素。
工业上的实用性
本发明所涉及的操作管理装置及操作管理系统包括：标记识别部，该标记识别部取得拍摄操作区域而得到的图像数据，并对该图像所包含的第一标记进行识别；标记位置计算部，该标记位置计算部计算出标记识别部所识别的第一标记的三维位置；操作步骤存储部，该操作步骤存储部设定有进行操作时的工具的三维位置信息；以及操作正误判定部，该操作正误判定部将标记位置计算部计算出的第一标记的三维位置与操作步骤存储部所具有的工具的三维位置相对照，来判定进行操作的位置的正误，由于无需对工具与操作管理装置进行有线连接，因此操作者能在行动范围没有限制的情况下进行移动，因此能应用于判定操作的正误的操作管理装置及操作管理系统。
标号说明
1工件(工作物)、1a～1f螺纹孔、2扭力扳手(工具)、2a通信机、2b接收机、3，3-1，3-2照相机、10操作管理装置、11标记定义存储部、12标记识别部、13标记位置计算部、14操作履历存储部、15工具状态检测部、16操作步骤存储部、17操作正误判定部、18通知部、19工具驱动控制部、20，20-1，20-2原点标记(第二、第三标记)、21检查标记(第一标记)、22注意标记。

Claims (17)

1.一种操作管理装置，其特征在于，包括：
标记识别部，该标记识别部取得图像数据，该图像数据通过拍摄使用附加设置有第一标记的工具对工作物进行操作的操作区域而得到，且该标记识别部识别包含在该图像中的所述第一标记；
标记位置计算部，该标记位置计算部基于所述图像数据计算出所述标记识别部所识别出的所述第一标记相对于设定在规定的三维位置的原点的三维位置；
操作步骤存储部，该操作步骤存储部设定有进行所述操作时的所述工具的三维位置信息；以及
操作正误判定部，该操作正误判定部将所述标记位置计算部计算出的所述第一标记的三维位置与所述操作步骤存储部所具有的所述工具的三维位置相对照，来判定进行所述操作的位置的正误，
所述操作步骤存储部中具有作为进行所述操作的顺序的表示所述工具的三维位置的移动顺序的信息，
所述操作正误判定部将所述标记位置计算部计算出的所述第一标记的三维位置的移动顺序与所述操作步骤存储部所具有的所述工具的三维位置的移动顺序相对照，来判定进行所述操作的顺序的正误。
2.如权利要求1所述的操作管理装置，其特征在于，
所述标记识别部取得从多个方向对所述操作区域进行拍摄而得到的多个图像数据，并对该多个图像中的至少一个图像所包含的所述第一标记进行识别，
所述标记位置计算部基于识别出所述第一标记的图像数据，计算出所述第一标记相对于所述原点的三维位置。
3.如权利要求1所述的操作管理装置，其特征在于，
具备通知部，该通知部将所述操作正误判定部的判定结果通知给操作者，并且基于所述操作步骤存储部所具有的所述工具的三维位置的移动顺序来指示下一个操作位置。
4.如权利要求1所述的操作管理装置，其特征在于，包括：
工具状态检测部，该工具状态检测部取得表示固定完成时的转矩值或者达到规定的转矩这一意思的信息，该信息从用于将零部件固定于所述工作物的所述工具输出；以及
操作履历存储部，该操作履历存储部将所述标记位置计算部所计算出的所述第一标记的三维位置、以及所述工具状态检测部所取得的表示固定完成时的所述转矩值或者达到规定的转矩这一意思的信息与时间信息一起进行存储。
5.如权利要求4所述的操作管理装置，其特征在于，
所述操作步骤存储部具有对进行所述操作时的所述工具的每个三维位置设定的转矩值的信息，
所述操作正误判定部在判定所述操作的正误时，将所述工具状态检测部所取得的固定完成时的转矩值与所述操作步骤存储部所具有的所述转矩值相对照。
6.如权利要求4所述的操作管理装置，其特征在于，
所述操作履历存储部存储拍摄所述操作区域而得到的图像数据。
7.如权利要求6所述的操作管理装置，其特征在于，
所述操作履历存储部将所述图像数据和与该图像所包含的标记相关联的检索关键字一起进行存储。
8.一种操作管理系统，其特征在于，包括：
至少附加设置于工具的标记；
对使用所述工具对工作物进行操作的操作区域进行拍摄的1台以上的拍摄装置；以及
取得所述拍摄装置所拍摄到的图像数据，来判定所述操作的正误的权利要求1所述的操作管理装置。
9.一种操作管理装置，其特征在于，包括：
标记识别部，该标记识别部取得图像数据，该图像数据通过拍摄使用附加设置有第一标记的工具对工作物进行操作，并在规定位置附加设置有第二标记的操作区域而得到，且该标记识别部识别包含在该图像中的所述第一标记和所述第二标记；
标记位置计算部，该标记位置计算部基于所述图像数据，将所述标记识别部所识别出的所述第二标记的三维位置作为原点，计算出所述标记识别部所识别出的所述第一标记相对于该原点的三维位置；
操作步骤存储部，该操作步骤存储部设定有进行所述操作时的所述工具的三维位置信息；以及
操作正误判定部，该操作正误判定部将所述标记位置计算部计算出的所述第一标记的三维位置与所述操作步骤存储部所具有的所述工具的三维位置相对照，来判定进行所述操作的位置的正误，
所述操作步骤存储部中具有作为进行所述操作的顺序的表示所述工具的三维位置的移动顺序的信息，
所述操作正误判定部将所述标记位置计算部计算出的所述第一标记的三维位置的移动顺序与所述操作步骤存储部所具有的所述工具的三维位置的移动顺序相对照，来判定进行所述操作的顺序的正误。
10.如权利要求9所述的操作管理装置，其特征在于，
所述标记识别部取得从多个方向对所述操作区域进行拍摄而得到的多个图像数据，并对该多个图像中的至少一个图像所包含的所述第一标记进行识别，
所述标记位置计算部基于识别出所述第一标记的图像数据，计算出所述第一标记相对于所述原点的三维位置。
11.如权利要求9所述的操作管理装置，其特征在于，
所述标记识别部取得拍摄附加设置有所述第二标记和第三标记的操作区域而得到的图像数据，并识别该图像所包含的所述第二标记和所述第三标记，
所述标记位置计算部将所述标记识别部所识别出的所述第二标记和所述第三标记各自的三维位置作为原点，利用三角测量的原理计算出所述第一标记的三维位置。
12.如权利要求9所述的操作管理装置，其特征在于，
具备通知部，该通知部将所述操作正误判定部的判定结果通知给操作者，并且基于所述操作步骤存储部所具有的所述工具的三维位置的移动顺序来指示下一个操作位置。
13.如权利要求9所述的操作管理装置，其特征在于，包括：
工具状态检测部，该工具状态检测部取得表示固定完成时的转矩值或者达到规定的转矩这一意思的信息，该信息从用于将零部件固定于所述工作物的所述工具输出；以及
操作履历存储部，该操作履历存储部将所述标记位置计算部所计算出的所述第一标记的三维位置、以及所述工具状态检测部所取得的表示固定完成时的所述转矩值或者达到规定的转矩这一意思的信息与时间信息一起进行存储。
14.如权利要求13所述的操作管理装置，其特征在于，
所述操作步骤存储部具有对进行所述操作时的所述工具的每个三维位置设定的转矩值的信息，
所述操作正误判定部在判定所述操作的正误时，将所述工具状态检测部所取得的固定完成时的转矩值与所述操作步骤存储部所具有的所述转矩值相对照。
15.如权利要求13所述的操作管理装置，其特征在于，
所述操作履历存储部存储拍摄所述操作区域而得到的图像数据。
16.如权利要求15所述的操作管理装置，其特征在于，
所述操作履历存储部将所述图像数据和与该图像所包含的标记相关联的检索关键字一起进行存储。
17.一种操作管理系统，其特征在于，包括：
至少附加设置于工具的标记；
对使用所述工具对工作物进行操作的操作区域进行拍摄的1台以上的拍摄装置；以及
取得所述拍摄装置所拍摄到的图像数据，来判定所述操作的正误的权利要求9所述的操作管理装置。
CN201280064775.4A 2011-12-27 2012-09-19 操作管理装置及操作管理系统 Active CN104023906B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-285845 2011-12-27
JP2011285845A JP5930708B2 (ja) 2011-12-27 2011-12-27 作業管理装置および作業管理システム
PCT/JP2012/073904 WO2013099373A1 (ja) 2011-12-27 2012-09-19 作業管理装置および作業管理システム

Publications (2)

Publication Number Publication Date
CN104023906A CN104023906A (zh) 2014-09-03
CN104023906B true CN104023906B (zh) 2016-08-24

Family

ID=48696879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280064775.4A Active CN104023906B (zh) 2011-12-27 2012-09-19 操作管理装置及操作管理系统

Country Status (3)

Country Link
JP (1) JP5930708B2 (zh)
CN (1) CN104023906B (zh)
WO (1) WO2013099373A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6052496B2 (ja) * 2012-11-09 2016-12-27 株式会社日立プラントコンストラクション 作業管理システム及び作業管理方法
KR101452302B1 (ko) 2013-07-29 2014-10-22 주식회사 하이딥 터치 센서 패널
KR101592206B1 (ko) * 2014-07-24 2016-02-05 지이티 주식회사 스크류 체결시스템 및 그 체결방법
JP6527343B2 (ja) 2014-08-01 2019-06-05 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． タッチ入力装置
JP2017100201A (ja) * 2015-11-30 2017-06-08 中国電力株式会社 工事管理システム及び携帯端末
JP6625894B2 (ja) * 2016-02-12 2019-12-25 株式会社東日製作所 管理装置および管理システム
CN105750892A (zh) * 2016-04-07 2016-07-13 内蒙古工业大学 一种基于实时图像处理的自动螺旋装配到位检测系统
US10589406B2 (en) 2016-08-26 2020-03-17 Cumulus Digital Systems, Inc. Guidance device and method for installing flanges
JP2018108633A (ja) 2016-12-28 2018-07-12 パナソニックＩｐマネジメント株式会社 工具システム
WO2018123433A1 (ja) * 2016-12-28 2018-07-05 パナソニックＩｐマネジメント株式会社 工具システム
JP6855801B2 (ja) * 2017-01-16 2021-04-07 沖電気工業株式会社 異常検知システム、異常検知装置、異常検知方法およびプログラム
JP2018147440A (ja) * 2017-03-09 2018-09-20 株式会社日立プラントコンストラクション ケーブル施工管理システム
CN109507913B (zh) * 2017-11-30 2022-04-01 蔚来(安徽)控股有限公司 换电加解锁控制系统及控制方法
US11586175B2 (en) 2017-12-08 2023-02-21 Connectec Japan Corporation Tool, task management device, task management method, and task management system
JP6596530B2 (ja) * 2018-03-23 2019-10-23 アトラスコプコ株式会社 方法及び装置
JP6844582B2 (ja) * 2018-04-27 2021-03-17 京セラドキュメントソリューションズ株式会社 ビス締め装置
CN110634122A (zh) * 2018-06-05 2019-12-31 成都精工华耀科技有限公司 一种扣件弹条移位检测方法
CN113784822B (zh) * 2018-10-10 2023-09-26 株式会社日立制作所 基于增强现实的机械紧固部的管理方法
WO2020121790A1 (ja) * 2018-12-14 2020-06-18 株式会社フジキン 作業管理装置、作業管理方法及び作業管理システム
CN109465630A (zh) * 2018-12-21 2019-03-15 南京林城亿轮轨道交通技术有限公司 一种智能化扭矩操作监管系统及控制方法
JP7266451B2 (ja) * 2019-04-19 2023-04-28 株式会社ディスコ ドライバー
JP7248516B2 (ja) * 2019-06-20 2023-03-29 株式会社日立製作所 作業支援装置、作業支援方法、および作業支援プログラム
JP7417994B2 (ja) * 2020-01-17 2024-01-19 京都機械工具株式会社 作業管理装置又は作業管理装置用プログラム
KR102181016B1 (ko) * 2020-03-18 2020-11-19 주식회사 디지쿼터스 Iot 기반의 구조물 모니터링 장치 및 이를 포함하는 안전 관리 시스템
JP7142247B2 (ja) * 2020-06-30 2022-09-27 パナソニックＩｐマネジメント株式会社 工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
JPWO2022079810A1 (zh) * 2020-10-13 2022-04-21
CN113369796A (zh) * 2021-05-26 2021-09-10 上海御建装饰设计工程有限公司 一种文物修复智能自动化跟踪监控系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425240A (zh) * 2007-10-31 2009-05-06 波音公司 智能紧固件安装系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2956403B2 (ja) * 1993-01-28 1999-10-04 トヨタ自動車株式会社 ねじ締め制御装置
JP2003150230A (ja) * 2001-11-14 2003-05-23 Sharp Corp 作業画像管理システムおよび作業画像管理方法
JP2005177919A (ja) * 2003-12-19 2005-07-07 Yamaha Motor Co Ltd 作業用工具及びこれを用いた作業システム
JP2007243846A (ja) * 2006-03-10 2007-09-20 Matsushita Electric Ind Co Ltd 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法
JP5022045B2 (ja) * 2007-01-24 2012-09-12 富士通株式会社 作業位置を特定するためのシステム、作業セル、方法、製品の製造方法、およびマーカ
JP5184217B2 (ja) * 2007-05-31 2013-04-17 パナソニック株式会社 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム
JP2009001132A (ja) * 2007-06-21 2009-01-08 Jamco Corp 航空機用ホイルの自動締付け装置
JP2011053781A (ja) * 2009-08-31 2011-03-17 Seiko Epson Corp 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101425240A (zh) * 2007-10-31 2009-05-06 波音公司 智能紧固件安装系统

Also Published As

Publication number Publication date
CN104023906A (zh) 2014-09-03
JP5930708B2 (ja) 2016-06-08
WO2013099373A1 (ja) 2013-07-04
JP2013132736A (ja) 2013-07-08

Similar Documents

Publication Publication Date Title
CN104023906B (zh) 操作管理装置及操作管理系统
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
JP2023526362A (ja) 物品処理の方法、装置、システム、電子機器、記憶媒体およびコンピュータプログラム
US20130010068A1 (en) Augmented reality system
US20130033580A1 (en) Three-dimensional vision sensor
JP2004333422A (ja) 画像処理装置
US11654571B2 (en) Three-dimensional data generation device and robot control system
EP2740075A1 (en) System and method for remote full field three-dimensional displacement and strain measurements
US9449378B2 (en) System and method for processing stereoscopic vehicle information
US20140180743A1 (en) Workflow monitoring and analysis system and method thereof
CN106680715B (zh) 摄像模组马达测试系统
US20180275073A1 (en) Device and method for calculating area to be out of inspection target of inspection system
JP2022103189A (ja) 作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラム
CN108025435A (zh) 具有自动校准的视觉系统
US10388027B2 (en) Detection method, display apparatus, and detection system
WO2018175914A9 (en) Robot localization in a workspace via detection of a datum
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
US20180298756A1 (en) System and method for measuring and aligning roof bolts
CN111389750B (zh) 一种视觉测量系统及测量方法
CN105571491A (zh) 基于双目视觉的汽车底盘数据测量系统及其方法
JP2008254157A (ja) 連結部材装着評価装置、方法、プログラムおよび記憶媒体
US10282909B2 (en) Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
CN112750166B (zh) 岸桥球机摄像头自动标定方法、系统、设备及存储介质
CN111300426B (zh) 一种高智能人型机器人感测头的控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant