CN113784822B - 基于增强现实的机械紧固部的管理方法 - Google Patents

基于增强现实的机械紧固部的管理方法 Download PDF

Info

Publication number
CN113784822B
CN113784822B CN201880098524.5A CN201880098524A CN113784822B CN 113784822 B CN113784822 B CN 113784822B CN 201880098524 A CN201880098524 A CN 201880098524A CN 113784822 B CN113784822 B CN 113784822B
Authority
CN
China
Prior art keywords
real
fastening
virtual
tool
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880098524.5A
Other languages
English (en)
Other versions
CN113784822A (zh
Inventor
谷田雄太
冈田智仙
小林义史
菊名淳夫
中村匠
山浦美轮
山口刚二郎
中田祥吾
平井祐辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alder Co ltd
Hitachi Ltd
Kyoto Tool Co Ltd
Original Assignee
Alder Co ltd
Hitachi Ltd
Kyoto Tool Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alder Co ltd, Hitachi Ltd, Kyoto Tool Co Ltd filed Critical Alder Co ltd
Publication of CN113784822A publication Critical patent/CN113784822A/zh
Application granted granted Critical
Publication of CN113784822B publication Critical patent/CN113784822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00—Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • B25B23/142—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for hand operated wrenches or screwdrivers
    • B25B23/1422—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for hand operated wrenches or screwdrivers torque indicators or adjustable torque limiters
    • B25B23/1425—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers specially adapted for hand operated wrenches or screwdrivers torque indicators or adjustable torque limiters by electrical means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by assembly
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31027—Computer assisted manual assembly CAA, display operation, tool, result
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31047—Display image of finished workpiece on screen, show how, where to mount next part
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Details Of Spanners, Wrenches, And Screw Drivers And Accessories (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在以往的作业管理系统中，需要对期望管理的各个部件附加RFID标签等识别标识，且准备具有天线的紧固工具，因此运用成本变大。一种使用了对现实空间叠加假想空间而生成的增强现实空间的基于增强现实的机械紧固部的管理方法，其中，在现实紧固部(RBn)与假想紧固部(IBn)一一对应的增强现实空间中，通过相机等取得该现实紧固部被选择为紧固对象的信息，通过与该相机连接的增强现实服务器进行解析，从而能够容易地记录规定的作业按照预定计划进行的情况，能够实现运用成本低且高品质的机械紧固部的管理方法、系统。

Description

基于增强现实的机械紧固部的管理方法
技术领域
本发明涉及使用了增强现实的机械紧固部的管理。
增强现实(Augmented Reality)是利用计算机来增强人类所感知的现实环境的技术。本发明是如下那样的技术：在通过相机等拍摄而得的现实空间中叠加通过3D-CAD、CG(Computer Graphics)等技术构筑出的假想空间而生成增强现实空间，使用上述那样的增强现实空间来进行机器等的机械紧固部的管理。
背景技术
以往，已知有如下那样的作业管理系统：将借助于工具、计测器取得的与螺栓、法兰等的紧固相关的信息、与用于作业的工具及计测器数据、操作员等的ID信息相关联以确保可追溯性，从而实现高品质的作业管理(例如，参照专利文献1)。
在先技术文献
专利文献
专利文献1：日本专利第5065851号公报
发明内容
发明要解决的课题
专利文献1所记载的作业管理系统是如下那样的系统：针对与法兰紧固相关的各个螺栓紧固作业数据，能够确保对其进行设定、计测的紧固工具、计测器、所使用的螺栓等的可追溯性，能够防止人为失误引起的设定紧固转矩的目标值或设定过盈量的目标值的输入错误、实测紧固转矩值或实测过盈量的记载错误。
然而，在专利文献1所记载的作业管理系统中，需要对与法兰紧固相关的所有的螺栓设置RFIC标签。此外，为了接收发送设置于这些螺栓的RFIC标签的信息，需要准备具有延伸至对这些螺栓进行把持的头部的天线的紧固工具，因此其运用成本有可能变大。
为此，本发明的目的是，提供一种能够在不对紧固部附加RFIC标签等识别标识、且无需进行这些紧固部与紧固工具之间的数据的发送接收的情况下，容易地记录规定的作业按照预定计划进行的情况、且运用成本低的高品质的机械紧固部的管理方法、系统。
用于解决课题的方案
为了解决上述课题，代表性的本发明的基于增强现实的机械紧固部的管理方法之一是使用了对现实空间叠加假想空间而生成的增强现实空间的机械紧固部的管理方法，其中，所述现实空间包括现实紧固部、以及套在所述现实紧固部上的现实工具，所述假想空间包括假想紧固部、以及套在所述假想紧固部上的假想工具，在所述增强现实空间中，所述现实紧固部与所述假想紧固部一一对应，生成所述增强现实空间的增强现实构成系统具有：相机，其拍摄所述现实空间；以及增强现实服务器，其与所述相机连接，并且对所述相机所设置的图像进行解析，所述管理方法包括紧固对象确定步骤，在该紧固对象确定步骤中，将所述现实工具的套头部套在所述现实紧固部上，由此将所述现实紧固部选定为紧固对象，并且将所述现实紧固部被选择为紧固对象的信息传达给所述假想紧固部。
发明效果
根据本发明，能够实现在不对紧固部附加RFIC标签等识别标识、且无需进行这些紧固部与紧固工具之间的数据的发送接收的情况下，容易地记录规定的作业按照预定计划进行的情况、且运用成本低的高品质的机械紧固部的管理方法、系统。
上述以外的课题、构成以及效果通过以下的实施方式的说明而得以清楚。
附图说明
图1是基于增强现实的机械紧固部的管理方法的系统构成的示意图。
图2是示出图1的系统构成中包含的头盔的功能构成的示意图。
图3是用于说明本发明的基于增强现实的机械紧固部的管理方法的包括紧固的组装作业的一例。
图4是图3的组装作业所包括的一工序，且是示出在现实空间中部件定位于基盘上的情形的示意图。
图5是图3的组装作业的最终工序，且是示出在假想空间中部件通过螺栓固定于基盘上的情形的示意图。
图6是图3的组装作业所包括的一工序，且是示出在对图4的现实空间叠加图5的假想空间而创建的增强现实空间中部件通过螺栓固定于基盘上的完成状态的示意图。
图7是示出从在图6的增强现实空间中将现实螺栓插入于现实部件的贯穿孔的状态起开始螺栓的紧固管理的情形的示意图。
图8是说明本发明的基于增强现实的机械紧固部的管理方法的流程图(前半)。
图9是说明本发明的基于增强现实的机械紧固部的管理方法的流程图(后半)。
图10是示出在现实空间中螺栓被套上工具而被选定为紧固对象的信息被传达给假想空间的该螺栓的“确定为紧固对象”所指的范围的示意图。
图11是示出利用工具紧固螺栓时所观察的紧固转矩的推移与流程图的确定的步骤的关系的示意图。
图12是捕获了包含变更为表示紧固结束的显示颜色的螺栓以及在该螺栓的附近显示的紧固管理信息的、透视型显示器所显示的增强现实空间的图像的示意图。
图13是将部件安装于基盘的设计图信息的一例。
图14是将部件安装于基盘的作业信息的一例。
图15是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象物的步骤(S90)的一例。
图16是具备表示工具的头(套件)部的位置的多个标记的现实工具的一例。
图17是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象的步骤(S90)的另一例。
图18是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象的步骤(S90)的另一例。
图19是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象物的步骤(S90)的另一例。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。需要说明的是，本发明不被该实施方式限定。
以下，参照附图对本具体实施方式进行说明。本说明书中的现实空间是指，作业者通过自身视觉所得到的像、或者相机10拍摄而得的像所在的空间。另外，本说明书中的假想空间是指，通过3D-CAD、CG等数字信息构筑出的空间。以下，为了区分现实空间的物品等与假想空间的物品等，对现实空间中的物品等附加“现实”这样的前缀，对假想空间中的物品等附加“假想”这样的前缀来进行记述。
＜系统构成＞
图1是与基于增强现实的机械紧固部的管理方法相关的系统构成的示意图，图2是示出图1的系统构成中所包含的可穿戴装置(头盔等)的功能构成的示意图。
图1所示的系统构成包括：设计信息服务器22，其储存部件图、组装图、3D-CAD、CG等设计图信息(参照图12)；作业信息服务器26，其储存部件的安装作业信息、维护(保养)作业信息(参照图13)；转矩管理服务器28，其对通过现实工具RT来紧固机械紧固部(即，现实紧固部)时的紧固转矩进行管理；解析服务器29，其能够进行大规模的图像解析；网络5，其与这些服务器连接；现实工具RT以及作业者所具备的可穿戴装置7，它们与该网络5连接。
图2所示的可穿戴装置7构成为能够装配于作业者的套头部，包括：透视型屏幕14(头戴式显示器装置)，其形成作业者的视野；相机10；以及增强现实服务器12，其与透视型屏幕14及相机10连接。增强现实服务器12构成在相机10所拍摄的现实空间(实体)中叠加从与网络5连接的设计信息服务器22得到的3D-CAD信息等假想空间的信息而成的增强现实空间，并且将该增强现实空间投影于透视型屏幕14。增强现实服务器12是一种计算机，其具有：存储区域，其保管创建增强现实的应用程序、各种信息(例如，设计信息等)的存储器区域；以及处理部，其处理作业者借助于可穿戴装置7表示的请求事项。
透视型屏幕14具有透视性，以使得作业者能够确保视野，能够将相机10拍摄到的现实空间的摄像、增强现实服务器12创建的假想现实空间投影于该透视型屏幕14。需要说明的是，此时，投影于透视型屏幕14的现实空间是与作业者通过自身视觉得到的像实质相同的像。另外，增强现实服务器12也可以将作业步骤等的信息、各种指南等的信息显示于透视型屏幕14，从而进一步提高作业者的便利性。
增强现实服务器12通过无线与网络5以及现实工具RT连接，因此，现实工具RT具有经由网络5从转矩管理服务器28接收与规定的现实螺栓对应的紧固转矩信息、并将现实工具RT观察到的紧固转矩信息向增强现实服务器12以及转矩管理服务器28发送的发送接收部。
增强现实服务器12既可以与相机10一体地构成，也可以经由网络5将增强现实服务器12所具有的存储器区域、处理部设置于与作业场所分开的场所。
现实工具RT是拧紧或松动螺栓等机械紧固部的工具。该现实工具RT例如可以是能够更换安装于与螺栓尺寸、种类对应的套头部的套件的转矩扳手，另外，套头部可以具有扳手形状、活动扳手形状等各种各样的转矩扳手形状。现实工具RT具有如下那样的功能：对紧固现实螺栓RBn时所观察的从紧固初期时至紧固结束时为止的紧固转矩信息、将已紧固的螺栓松动时所计测的残余转矩信息进行收集，并经由增强现实服务器12、网络5将这些信息提供给转矩管理服务器28等。
此外，现实工具RT具备将从增强现实服务器12或者转矩管理服务器28得到的与任意的螺栓尺寸以及螺栓材质对应的紧固转矩信息、现实螺栓RBn以规定的紧固转矩被紧固的信息提示给作业者的显示部(未图示)。需要说明的是，该显示部的目的在于向作业者传达上述信息，因此也可以取代在现实工具RT兼设显示部的情况，而将这些信息显示于透视型屏幕14，或者显示于作业者的手臂等所穿戴的其他可穿戴终端的显示部。
作业信息服务器26储存制造物(例如，铁道车辆、机动车等)的制作内容所表示的制作作业指示书、维护作业的内容所表示的维护作业指示书等。根据增强现实服务器12的请求，作业信息服务器26从这些作业指示书提取必要的数据而提供。
需要说明的是，设计信息服务器22、作业信息服务器26以及转矩管理服务器28是分别共享或保管与设计信息、作业信息、转矩管理相关的信息的文件服务器。
作业信息服务器26并不一定必须从设计信息服务器22独立开，也可以将作业信息服务器26与设计信息服务器22作为共用的1台信息服务器来运用。解析服务器29用于从相机10拍摄到的图像进行大规模地(图像)解析、从而得到作业对象物的详细的现实空间或者假想空间中坐标(例如，表示三维位置的坐标)的情况等。
＜作业内容＞
图3是用于说明本发明的基于增强现实的机械紧固部的管理方法的包括紧固在内的组装作业的一例。该组装作业是在现实空间中通过4根现实螺栓RB1～RB4(以下，简称为RBn(n＝1～4)或RBn)将现实部件RD2固定于现实基盘RD1的作业。现实基盘RD1具有：现实螺纹孔RQ1～RQ4，其具有供贯穿了现实部件RD2的现实螺栓RBn螺合的螺纹槽；以及现实位置标记RM，其表示现实空间的基准位置。现实部件RD2在4个角具备供现实螺栓RBn沿垂直方向贯穿的现实贯穿孔RP1～RP4。
＜对现实空间叠加假想空间而构成的增强现实空间中的紧固部管理的概要＞
图4是图3的组装作业所包括的一工序，且是示出在现实空间中部件定位于基盘的情形的示意图。图5是图3的组装作业的最终工序，且是示出在假想空间中部件通过螺栓而固定于基盘的情形的示意图。图6是图3的组装作业所包括的一工序，且是示出在对图4的现实空间投影了图5的假想空间而得的增强现实空间中部件通过螺栓而固定于基盘的情形的示意图。
图4是作业者通过自身的视觉而得到的现实空间的像，且是在现实基盘RD1的上表面的固定位置定位有现实部件RD2的图。图5是在假想空间(数字空间)中，假想部件ID2通过假想螺栓IB1～IB4(以下，简称为IBn(n＝1～4)或IBn)安装于假想基盘ID1的作业结束后的姿势(3D-CAD数据的组装图)。该3D-CAD数据可以储存于设计信息服务器22或可穿戴装置7的增强现实服务器12。
图6是图3的作业所包括的一工序，且是示出在对图4的现实空间叠加图5的假想空间而创建的增强现实空间中部件通过螺栓而固定于基盘的完成状态的示意图。
为了使透视型屏幕14映出增强现实空间的像(相当于图6)，增强现实服务器12首先利用相机10拍摄(取得)现实基盘RD1上定位有现实部件RD2的状态(相当于图4)。接下来，增强现实服务器12从设计信息服务器22取得假想空间的3D-CAD数据(组装图)。接着，增强现实服务器12从假想空间对拍摄到的现实空间叠加3D-CAD数据而创建增强现实空间。
需要说明的是，此时，增强现实服务器12如果使预先设置于现实基盘RD1的一端的现实空间的基准点RM与假想基盘ID1的一端的假想空间的基准点IM重合，则能够容易地创建增强现实空间。增强现实服务器12将所创建的增强现实空间显现于透视型屏幕14。其中，在该时间点，现实螺栓RBn还未插入现实部件RD2的贯穿孔RPn。
图7是示出从图6的在增强现实空间中将现实螺栓插入现实部件的贯穿孔的状态开始螺栓的紧固管理的情形的示意图。图7是在构成投影于透视型屏幕14的增强现实空间(相当于图6)的现实部件RD2的现实贯穿孔RPn中插入现实螺栓RBn的状态的图。由于现实螺栓RBn的头下的螺纹部还未拧入现实基盘RD1的现实螺纹孔RQn，因此现实螺栓RBn的头部与假想螺栓IBn的头部相比向高度方向突出。
增强现实空间通过将假想空间的基准点IM重合于现实空间的基准点RM而创建，因此插入现实部件RD2的现实贯穿孔RPn的现实螺栓RBn与假想空间的假想螺栓IBn一一对应(重合)。换句话说，现实空间的现实螺栓RBn的坐标(例如，螺栓的头部的中心坐标)与假想空间的假想螺栓IBn的坐标实质上重合。
但是，在图7的情况下，现实螺栓RBn未拧入现实基盘RD1的现实螺纹孔RQn，因此严格来说，现实螺栓RBn的RX-RY平面的坐标与假想螺栓IBn的IX-IY平面的坐标重合，但现实螺栓RBn的RZ轴上的坐标与假想螺栓IBn的IZ轴上的坐标不重合。
对在生成上述的假想现实空间时，使设置于现实基盘RD1的现实基准点RM与假想基盘的假想基准点IM重合来进行生成的情况进行了说明，但并不一定必须准备现实基准点RM以及假想基准点IM。也可以取代这些基准点，例如，也可以以现实基盘RD1以及假想基盘ID1的4个角之一作为基准点来对现实空间叠加假想空间，从而生成增强现实空间。
＜基于增强现实的紧固部的管理＞
图8和图9是说明本发明的基于增强现实的机械紧固部的管理方法的流程图(前半)和(后半)。以下，以图3所示的作业为例，关于佩戴了可穿戴装置7(头盔)的作业者在增强现实空间中从图7的状态紧固螺栓时的增强现实的管理方法，针对每个步骤进行说明。
在步骤10(S10)中，开始基于增强现实的紧固部的管理。
在步骤30(S30)中，增强现实服务器12通过相机10对定位于现实基盘RD1的上表面的现实部件RD2进行拍摄，从而取得现实空间信息(相当于图4)。
在步骤40(S40)中，增强现实服务器12经由网络5从设计信息服务器22取得假想空间信息(3D-CAD信息，相当于图5)。在假想空间信息(相当于图5)保管于增强现实服务器12的情况下，增强现实服务器12从增强现实服务器12取得假想空间信息(相当于图5)。
在步骤50(S50)中，增强现实服务器12对在步骤30中得到的现实空间信息叠加在步骤40中得到的假想空间信息，从而创建增强现实空间。需要说明的是，此时，由于将现实空间的基准点RM与假想空间的基准点IM重合，因此现实空间的任意的坐标(RXn，RYn，RZn)与假想空间的任意的坐标(IXn，IYn，IZn)一一对应地重合。
步骤60(S60)至步骤160(S160)为将螺栓的根数设为循环次数的循环处理。
在步骤70(S70)中，增强现实服务器12在增强现实空间中，基于在S50中得到的假想空间信息，按照紧固的顺序确定假想螺栓IBn中的任一个，并将紧固的螺栓教示给作业者。将按紧固的顺序所确定的假想螺栓向作业者教示的方法例如能够如下那样进行：在投影于透视型屏幕14的增强现实空间中，变更所确定的假想螺栓IBn的颜色，或者闪烁显示所确定的假想螺栓IBn。
在步骤80(S80)中，作业者将现实工具RT靠近叠加有在S70中所教示的假想螺栓IBn的现实螺栓RBn，并将现实工具RT的套件部RTH套在现实螺栓RBn的头部上。
在步骤90(S90)中，作业者在投影于透视型屏幕14的增强现实空间中，确认在紧固的现实螺栓RBn上重合有现实工具的套件部RTH，从而将接下来通过现实工具RT进行紧固的现实螺栓RBn“确定为紧固对象”的作业完成。图10中示出该“确定为紧固对象”所指的范围的示意图。
图10中的现实螺栓RBn在增强现实空间中与假想螺栓IBn实质上重合，但为了使理解变得容易，将图中的现实螺栓RBn与假想螺栓IBn分开来进行描绘。作业者基于S70中的指示，在S80中，在现实空间中将现实工具RT(套头部RTH)套在紧固的现实螺栓RBn上。
在S50中，确认了包括现实螺栓RBn的坐标在内的现实空间的任意的坐标(RXn，RYn，RZn)与包括假想螺栓IBn的坐标在内的假想空间的任意的坐标(IXn，IYn，IZn)一一对应地重合，因此，现实螺栓RBn的“与现实工具RT重合而被选定为紧固对象”信息传达给假想螺栓IBn。因此，“确定为紧固对象”表示，套上现实工具RT且被选定为紧固对象这样的现实螺栓RBn的信息传达给与现实螺栓RBn一一对应的假想螺栓IBn。
在S90中，在未确定紧固对象物的现实螺栓RBn的情况下，返回S70，并再次确定紧固对象物的现实螺栓RBn。在S90中，如果确定了紧固对象物的现实螺栓RBn，则前进至下一步骤。
在步骤100(S100)中，增强现实服务器12将与确定为紧固对象的现实螺栓RBn一一对应的假想螺栓IBn的假想空间中的坐标IBO(IBX1，IBY1，IBZ1)临时保存于增强现实服务器12(或者作业信息服务器26等任意服务器)。
在步骤110(S110)中，增强现实服务器12从设计信息服务器22或者转矩管理服务器28(任意的服务器)取得现实螺栓RBn的紧固转矩信息，并将该紧固转矩信息发送给现实工具RT。紧固转矩信息是根据螺栓尺寸、螺栓材质以及使用环境等规定的、产生必要的(规定)轴力AFS的紧固转矩(N·m)。在紧固了现实螺栓RBn时，现实螺栓RBn中产生的轴力AF与紧固转矩成比例。由于不容易直接观察轴力AF，因此代替现实螺栓RBn的轴力AF，利用与该轴力对应的紧固转矩T来管理现实螺栓RBn的紧固状况。以下，将该紧固转矩称作规定紧固转矩TS。
在步骤120(S120)中，作业者利用现实工具RT开始确定为紧固对象的现实螺栓RBn的紧固。
在步骤125(S125)中，若作业者利用现实工具RT开始紧固确定为紧固对象的现实螺栓RBn，则现实工具RT感测到紧固转矩的产生。此时，增强现实服务器12对相机10拍摄的像进行图像解析，确认现实工具的套头部RTH的坐标RTHO(RTHX1，RTHY1，RTHZ1)与确定为紧固对象的现实螺栓RBn的坐标RBO(RBOX1，RBOY1，RBOZ1)是否重合、或者是否接近于能够判断为重合的程度。通过S125，能够确认通过现实工具RT开始紧固确定为紧固对象的现实螺栓RBn的情况。
在步骤128(S128)中，现实工具RT将所感测的初期紧固转矩TB向增强现实服务器12发送。现实工具RT可以对感测到初期紧固转矩TB的日期时间信息进行把握，并将该日期时间信息与初期紧固转矩TB一起向增强现实服务器12发送，也可以是，接收到初期紧固转矩TB的增强现实服务器12将上述的日期时间信息与初期紧固转矩TB一起作为在假想空间中与确定为紧固对象的现实螺栓RBn对应的假想螺栓IBn的紧固管理信息30的一部分，保存于任意的服务器。
在步骤130(S130)中，若作业者利用现实工具RT对紧固对象物的现实螺栓RBn进一步进行紧固，则现实螺栓RBn中观察的紧固转矩达到规定紧固转矩TS。在现实工具RT中，若紧固对象的现实螺栓RBn中观察的紧固转矩达到在S110中从增强现实服务器12接受的规定紧固转矩TS，则通过现实工具RT所具备的显示部的LED的闪烁、或者改变显示部的颜色等动作，向作业者通知现实螺栓RBn以规定紧固转矩被紧固了的情况。
该规定紧固转矩TS具有从下限值(TSL)至上限值(TSH)的合格范围，现实工具RT所具备的显示部能够以不同颜色来分别表现该紧固转矩TL为合格范围(下限值TSL)以下、处于合格范围内、为合格范围(上限值TSH)以上。需要说明的是，也可以取代该现实工具RT所具备的显示部的动作，而将这些信息显示于透视型屏幕14，或显示于作业者的手臂等所穿戴的其他可穿戴终端的显示部。
现实工具RT将作业者结束了紧固动作时所观察的结束紧固转矩TL发送给增强现实服务器12。需要说明的是，结束紧固转矩TL是与规定紧固转矩TS实质相同或比规定紧固转矩TS稍大的值。现实工具RT对感测到结束紧固转矩TL的日期时间信息进行把握，可以将该日期时间信息与结束紧固转矩TL一起向增强现实服务器12发送，也可以是，接收到结束紧固转矩TL的增强现实服务器12将上述的日期时间信息附加于结束紧固转矩TL。
在步骤140(S140)中，接收到结束紧固转矩TL的增强现实服务器12经由增强现实服务器12自身或者网络5将该结束紧固转矩TL向转矩管理服务器28发送，转矩管理服务器28对该结束紧固转矩TL进行保存。
在步骤150(S150)中，增强现实服务器12将透视型屏幕14所显示的与结束了紧固的现实螺栓RB1一一对应的假想螺栓IB1的显示颜色变更为与未结束紧固动作的其他假想螺栓IB2～IB4不同的颜色。作业者能够根据显示的颜色的不同来区分紧固完成(结束)了的假想螺栓与紧固动作未结束的假想螺栓。
在步骤155(S155)中，增强现实服务器12使透视型屏幕14在于S150中变更了显示颜色的紧固完成(结束)了的假想螺栓IB1的附近显示例如作业者ID、紧固结束日期、紧固结束时刻、设计图号等紧固管理信息30。
增强现实服务器12对包括与显示于透视型屏幕14的这些假想螺栓IB1一一对应的现实螺栓RB1的紧固作业所相关的作业者ID、紧固结束日期、紧固结束时刻、设计图号等紧固管理信息30的图像(静止画面或者动画)进行捕获(透视型屏幕14画面的硬拷贝)，并将该捕获了的图像进行增强现实服务器12或者网络5保存于作业信息服务器26或转矩管理服务器28。
也可以取代所捕获的静止画面，以紧固结束时刻为基准，存储该时刻之前的规定的时间以及该时刻之后的规定的时间内的紧固作业的动画。在该动画中，除了记录紧固管理信息30之外，还记录现实螺栓RBn以规定紧固转矩TS被禁锢而现实工具RT借助于显示部向作业者通知紧固结束的情形。
在步骤160(S160)中，返回S50重复循环与规定的紧固对象螺栓根数相对应的次数。
在步骤170中，结束利用了与现实螺栓RBn的紧固作业相关的增强现实的螺栓的紧固管理的一系列的动作。
图11是示出利用工具紧固螺栓时所观察的紧固转矩的推移与流程图的确定的步骤的关系的示意图。图11的横轴是时间轴，图11的纵轴是在利用现实工具RT紧固现实螺栓RBn时现实螺栓RBn中所观察的紧固转矩。
图11示出在作业者开始紧固现实螺栓至紧固结束的过程中所观察的紧固转矩的推移。图11的横轴表示时间，图11的纵轴表示现实螺栓RBn中产生的轴力AF。关于轴力AF，与紧固次数相对应地交替观察到作业者利用现实工具RT开始紧固现实螺栓RBn时所观察的倾斜部、以及作业者收回现实工具RT时所观察的水平部。水平部是现实工具RT为了准备下一次紧固而收回的工序，且未观察紧固转矩。
与根据第一水平部所观察的轴力对应地，检测到初期紧固转矩TB，与根据第三水平部所观察的轴力对应地，检测到结束紧固转矩TL。并且，在直至第三水平部之前的第三倾斜部的末端部处，产生规定轴力AFS，观察到与该规定轴力AFS对应的规定紧固转矩TS。
接下来，使用图9所示的流程图来进行说明。图9所示的流程图的S120相当于图11中的作业者利用现实工具RT开始对紧固对象物的现实螺栓RBn进行紧固时的图11的A点(A：S120)。另外，图9的S125相当于从上述的流程图的S120起现实工具RT开始紧固现实螺栓RBn而观察到初期紧固转矩TB的B点(B：S128)。另外，图9的S130相当于现实工具RT将现实螺栓RBn以规定紧固转矩TS紧固时的C点(C：S130)。
图12是捕获了包含变更为表示紧固结束的显示颜色的螺栓以及在该螺栓的附近显示的紧固管理信息的、透视型显示器所显示的强现实空间的图像的示意图。图12是模仿了图9的流程图的S155的图，且是从S60至S160重复与RBn的根数对应次数的最初的循环的最终工序。
此时，仅现实螺栓RB1的紧固结束，因此仅现实螺栓RB1的头部比其他现实螺栓RB2～4更向下方沉入而与假想螺栓IB1的头部重合。仅结束了紧固的现实螺栓RBn的显示颜色变更为灰色，因此作业者能够容易地区分紧固结束螺栓RB1与未结束紧固的未紧固螺栓RB2～4，从而能够抑制紧固作业遗忘。在增强现实空间中，对仅结束了现实螺栓RB1的紧固的图像附加有作业者ID、紧固结束日期、紧固结束时刻、结束紧固转矩、设计图号等紧固管理信息30的图像进行捕获(图像的硬拷贝、或截屏)，并将该图像保存于任意的服务器。
＜效果(图12)＞
通过制作图12所示的图像，从而能够瞬时把握通过谁(哪个作业者)、基于哪个设计图、在指示了什么样的作业内容时，以规定紧固转矩拧入现实螺栓RB1。
通常，增强现实空间的紧固对象物的图像(相当于图7)以及随附于该紧固对象物的紧固管理信息30(作业者ID、紧固结束日期、紧固结束时刻、结束紧固转矩、设计图号等)作为与假想空间(例如，转矩管理服务器28等)的假想螺栓IBn相关的(链接或联系)信息而被保存。并且，根据需要，作为假想空间的假想螺栓IBn的相关信息，从转矩管理服务器28等调出假想螺栓IBn的紧固管理信息30，并通过向增强现实空间的显示来提示给请求者。
在该假想螺栓IBn与关联于假想螺栓IBn的紧固管理信息30的相关(链接、联系)信息由于某种理由而损毁了的情况下，无法调出与紧固对象物一一对应的紧固管理信息30，从而很难把握基于对紧固对象物实施的紧固作业的状态。为此，通过取得并保存图9的S155所记载的图像，继而即使在链接(联系)的信息损毁了的情况下，也能够瞬时把握基于对紧固对象物实施的紧固作业的状态，因此能够确保可追溯性。
图13是将部件安装于基盘的设计图信息的一例，图14是将部件安装于基盘的作业信息的一例。设计图信息例如是图号、图名称、机器(部件)名称、螺栓尺寸、螺栓头下长度、螺栓材质、规定紧固转矩、螺栓根数等组装图中包含的信息。
作业信息例如是作业内容(名称)、作业日期时间、应参照的设计图信息、作为作业者的预定的作业者信息、作为作业对象的车辆信息、作业开始时刻、部件信息、作业场所、作业结束日期时间等。
图15是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象物的步骤(S90)的一例。在通过增强现实来管理机械紧固部的情况下，紧固管理信息30作为与假想螺栓IBn相关的信息储存于转矩管理服务器28等。因此，从通过增强现实来管理紧固部的方面来看，将在现实空间中确定为紧固对象的现实螺栓RBn的信息准确地关联于与该现实螺栓RBn一一对应的假想空间的假想螺栓IBn是重要的。
＜将所选定的现实螺栓信息传达给假想螺栓而确定为紧固对象的步骤的说明＞
在图8的S50中，在通过将现实空间的基准点RM与假想空间的基准点IM重合而生成的增强现实空间中，现实空间的任意的坐标(RXn，RYn，RZn)与假想空间的任意的坐标(IXn，IYn，IZn)一一对应。以该对应关系基本成立为前提，关于在现实空间中套上现实工具的套头部RTH且被选定为紧固对象这样的现实螺栓RBn所相关的信息被传达(交接)给与该现实螺栓RBn对应的假想螺栓IBn以确定为紧固对象的(S90)步骤，在以下的A1～A7中进行说明。
A1：增强现实服务器12对在现实空间中相机10拍摄的相当于图7的、包含现实螺栓RBn在内的图像进行解析，从而计算现实螺栓RBn的坐标RBO(RBX1，RBY1，RBZ1)。
A2：增强现实服务器12从预先储存于假想空间的3D-CAD数据调出包括假想螺栓IBn的3D模型(例如，图5所示的装置)，并取得3D模型所包括的任意的假想螺栓IBn的坐标IBO(IBX1，IBY1，IBZ1)。
A3：增强现实服务器12在增强现实空间中，把握现实空间的现实螺栓RBn的坐标RBO(RBX1，RBY1，RBZ1)与假想空间的假想螺栓IBn的坐标IBO(IBX1，IBY1，IBZ1)重合的情况、或者以能够判断为重合的程度接近了的情况。以上说明的A1至A3是对现实空间叠加假想空间而生成增强现实空间的过程。通过该把握，在增强现实空间中，对任意的现实螺栓RBn与任意的假想螺栓IBn一一对应的情况进行再次确认。
如图7所示，在现实空间中，在为组装结束前的现实螺栓RBn插入现实部件RD2的贯穿孔RPn(n＝1～4)的状态时，未拧入现实基盘RD1的现实螺栓RBn的头部不与拧入了的状态的假想螺栓IBn的头部重合，而位于稍向上方错开的位置。因此，现实螺栓RBn的坐标的表示平面的X坐标和Y坐标与假想螺栓IBn的坐标的表示平面的X坐标和Y坐标实质上重合，但现实螺栓RBn的坐标的表示高度的Z坐标与假想螺栓IBn的坐标的表示高度的Z坐标不一致。因此，对现实螺栓RBn与假想螺栓IBn的重合判断追加接近于能够判断为重合的程度的判断，对现实螺栓RBn与假想螺栓IBn的重合再次进行确认。
A4：增强现实服务器12在现实空间中，根据相机10拍摄的作业者将现实工具的套头部RTH套在任意的现实螺栓RBn上的情形，来把握该现实螺栓RBn被选定为紧固对象的情况。
A5：增强现实服务器12在现实空间中，以相机10拍摄的现实工具RT所具备的标记RTM1(LED灯、二维码等标记)为基准点，并在几何学上从该基准点计算现实工具的套头部RTH的坐标RTHO(RTHX1，RTHY1，RTHZ1)。
A6：增强现实服务器12在现实空间中，对现实工具的套头部RTH的坐标RTHO(RTHX1，RTHY1，RTHZ1)与现实螺栓的坐标RBO(RBX1，RBY1，RBZ1)进行比较验证，确认现实工具RT的套头部RTH的坐标RTHO与现实螺栓的坐标RBO重合或处于能够判断为重合的程度的范围内。通过该确认，对任意的现实螺栓RBn被选定为紧固对象的情况进行确认。
A7：增强现实服务器12在A3中确认了现实螺栓RBn(坐标RBO)与假想螺栓IBn(坐标IBO)一一对应，因此现实空间中被现实工具的套头部RTH套住而选定为紧固对象的现实螺栓RBn的信息被传达给假想空间的假想螺栓IBn。
通过以上的步骤，向与现实螺栓RBn一一对应的假想螺栓IBn传达现实螺栓RBn被选定为紧固对象的信息，并能够将紧固管理信息30等附加信息作为与假想空间的假想螺栓IBn相关的信息累积于任意的服务器。
此外，通过具备A5的构成，从而即使在例如由于现实螺栓RBn被遮挡物遮挡而相机10无法拍摄现实螺栓RBn的情况下，增强现实服务器12也能够得到现实工具RT的套头部RTH的坐标，因此能够接着A6向A7前进。
图16是具备表示工具的头(套件)部的位置的多个标记的现实工具的一例。现实工具RT有套在现实螺栓RBn的头部上的套头部RTH、供作业者把持的现实工具的把手部RTG、以及将套头部RTH与把手部RTG连接的柄部RTE构成。在配置为对垂直配置的现实螺栓RT进行紧固时的姿势的现实工具RT的柄部RTE的上表面，沿着柄部RTE的轴向设置有标记RTM1、标记RTM3、标记RTM5。在被保持为同样的姿势的现实工具RT的柄部RTE的侧面，沿着柄部RTE的轴向设置有标记RTM2、标记RTM4。
标记RTMn(n＝1～5)具有表示从各标记RTMn朝向套头部RTH的方向、以及从各标记RTMn至套头部RTH为止的距离L1～L5的码。因此，即使在例如从套头部RTH至标记RTM2为止的范围成为遮挡物的阴影而相机10无法拍摄套头部RTH的情况下，相机10也能够拍摄标记RTM3～RTM5。例如在相机10无法清楚地拍摄标记RTM3的情况下，接受了相机10的图像的增强现实服务器12能够把握在从标记RTM3所具备的码向-RX方向偏离距离L3的位置存在具备沿着RZ方向的轴的套头部RTH。
因此，增强现实服务器12能够基于根据标记RTM3所得到的套头部RTH的信息，来在几何学上计算套头部RTH的坐标RTHO(RTHX1，RTHY1，RTHZ1)。此外，标记RTMn(n＝1～3)与标记RTMn(n＝2，4)设置于绕着柄部RTE的轴错开90度的位置。
因此，在对具有沿着RZ轴的轴的现实螺栓RBn进行紧固的情况下，增强现实服务器12参照相机10拍摄的标记RTMn(n＝1～3)的信息，在对具有沿着RY轴的轴的现实螺栓RBn进行紧固的情况下，增强现实服务器12主要参照标记RTMn(n＝2，4)的信息，从而能够得到套头部RTH的坐标。因此，如果为图16所示的现实工具，则无论现实螺栓RBn的紧固姿势如何，均能够以高品质得到套头部RTH的坐标。
图17是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象的步骤(S90)的另一例。省略与利用图15所说明过的流程共用的事项，以图17的特有的流程为中心，在以下的B1～B8中进行说明。
B1至B3与利用图15所说明过的A1至A3的记述实质上相同，因此在此省略其说明。
B4：增强现实服务器12在现实空间中利用相机10对作业者操作的现实工具RT进行拍摄而读取其形状。
B5：增强现实服务器12从预先保存于假想空间(任意的服务器)的多个假想工具IT(由3D-CAD制作的模型等)选择并向增强现实空间调出与在上述的B4中相机10拍摄到的现实工具RT一一对应的假想工具IT。
B6：增强现实服务器12以现实工具的套头部RTH的坐标RTHO(RTHX1，RTHY1，RTHZ1)为基准点，在增强现实空间中，使在B5中从假想空间调出的假想工具IT与现实工具RT重合。
B7：增强现实服务器12取得在上述的B6中使假想工具IT与现实工具RT重合的情况下假想空间中的假想工具的套头部ITH的坐标ITHO(ITHX1，ITHY1，ITHZ1)，并且使假想工具IT在假想现实空间内追随取得了假想工具的套头部ITH的坐标之后的现实工具RT的运动。
B8：增强现实服务器12在作业者将现实工具RT套在现实螺栓RBn上而选定为紧固对象时，对追随现实工具RT的假想工具IT的套头部ITH的坐标ITHO(ITHX1，ITHY1，ITHZ1)和与现实螺栓RBn一一对应的假想螺栓Ibn的坐标IBO(IBX1，IBY1，IBZ1)进行比较验证，确认假想工具IT的套头部ITH的坐标RTHO与现实螺栓RBn的坐标RBO重合或处于能够判断为重合的程度的范围内。通过该确认，任意的现实螺栓RBn被确定为紧固对象。
通过以上的流程，增强现实服务器12在B3中把握了现实螺栓RBn(坐标RBO)与假想螺栓IBn(坐标IBO)一一对应的情况，因此能够将在现实空间中被套上现实工具的套头部RTH而被选定为紧固对象的现实螺栓RBn的信息传达给假想空间的假想螺栓IBn，并能够将紧固管理信息30等附加信息作为与假想空间的假想螺栓IBn相关的信息累积于任意的服务器。
在上述的B4以及B5中，基于相机10拍摄到的现实工具RT的形状，调出与该现实工具RT一一对应的假想工具IT。也可以在现实工具RT上预先粘贴有内置与该现实工具RT对应的假想工具IT信息的标记，并基于相机10拍摄的该标记的信息，增强现实服务器12从假想空间将假想工具IT调出至假想现实空间。
通过具备B7的构成，从而例如即使在现实螺栓RBn被遮挡物遮挡而相机10无法拍摄现实螺栓RBn的情况下，增强现实服务器12也能够取得与现实工具RT的套头部RTH的坐标一一对应的假想工具IT的套头部ITH的坐标，能够接着B7向B8、B9前进。
图18是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象的步骤(S90)的另一例。省略与利用图15以及图17所说明过的流程共用的事项，以图18的特有的流程为中心，在以下的C1～C8中进行说明。
C1至C3与利用图15(图17)所说明过的A1(B1)至A3(B3)的记述实质上相同，因此在此省略其说明。
C4：增强现实服务器12利用相机10对要拍摄的现实工具RT上所设置的3点(现实工具的套头部RTH、第一标记RTM1、第二标记RTM2)的标记(标记)进行拍摄，在增强现实空间中，生成从现实工具的套头部RTH向下方延伸的任意长度的假想线段ILH，同样地生成第一标记RTM1的假想线段IL1、第二标记RTM2的假想线段IL3。
C5：增强现实服务器12在增强现实空间中，生成包含假想线段ILH、假想线段IL1、以及假想线段IL2这3点的末端在内的假想平面IPL。
C6：增强现实服务器12在增强现实空间中，生成步骤70提醒作业者进行紧固的通过假想螺栓IBn的坐标IBO(IBX1，IBY1，IBZ1)的假想垂线IZL。
C7：增强现实服务器12在增强现实空间中，计算接点SILH与交点SIZL在假想平面IPL上的距离ID1，接点SILH是假想平面IPL上的与假想线段IL1的接点，交点SIZL是假想平面IPL与假想垂线IZL的交点。
C8：增强现实服务器12判断为将具有成为计算为最小的距离ID1的基础的假想垂线IZL的假想螺栓IBn确定为紧固对象。
通过以上的流程，增强现实服务器12在C3中把握了现实螺栓RBn(坐标RBO)与假想螺栓IBn(坐标IBO)一一对应的情况，因此能够将在现实空间中被套上现实工具的套头部RTH而被选定为紧固对象的现实螺栓RBn的信息传达给假想空间的假想螺栓IBn，并能够将紧固管理信息30等附加信息作为与假想空间的假想螺栓IBn相关的信息累积于任意的服务器。
C4’：取代在C4中说明过的生成假想平面IPL的方法，将包含假想螺栓IBn的坐标IBO在内的IX-IY平面设为假想平面IPL’，将通过现实工具的套头部RTH的假想垂线ILH的与假想平面IPL’的交点设为SILH’。并且，增强现实服务器12计算假想平面IPL’上的假想螺栓IBn的坐标IBO与交点SILH’在假想平面IPL’上的距离ID1’，判断为将具有成为计算为最小的距离ID1’的基础的坐标IBO的假想螺栓IBn确定为紧固对象。
在C4的情况下，若作业者将现实工具RT倾斜，则假想空间IPL也追随现实工具RT而倾斜，因此有可能增强现实服务器12的解析负荷变大。与此相对，在C4’的情况下，即使作业者将现实工具RT倾斜，假想平面IPL’也维持其姿势而不倾斜，仅通过现实工具的套头部RTH的垂线ILH’追随该倾斜而倾斜。因此，增强现实服务器12的解析负荷不容易变大，能够以较小的解析负荷使垂线ILH’追随现实工具RT的倾斜，能够判断为将假想螺栓IBn确定为紧固对象。
图19是在增强现实空间中与现实螺栓一一对应的假想螺栓被确定为由现实工具紧固的紧固对象物的步骤(S90)的另一例。省略与利用图15、图17以及图18所说明过的流程共用的事项，以图19的特有的流程为中心，在以下的D1～D10中进行说明。
D1至D3与利用图15(图17、18)所说明过的A1(B1、C1)至A3(B3、C3)的记述实质上相同，因此在此省略其说明。
另外，D4至D5与利用图17所说明过的B4至B5的记述实质上相同，因此在此省略其说明。
D6：增强现实服务器12取得在图8的步骤70中提示作业者接下来要紧固的螺栓的假想螺栓IBn的坐标IBO(IBX1，IBY1，IBZ1)。
D7：增强现实服务器12在假想空间中，调出与在D4中调出的相机10拍摄到的现实工具RT一一对应的假想工具IT，将其套头部ITH与在D6中取得的假想螺栓IBn的坐标IBO(IBX1，IBY1，IBZ1)重合。
D8：增强现实服务器12将在D4中调出的假想工具IT的套头部的垂直轴RZ与在D6取得的假想螺栓IBn的坐标IBO(IBX1，IBY1，IBZ1)的IZ轴重合，即，在将两者的垂直轴重合的状态下，使假想工具IT绕着IZ轴在IX-IY平面内回转。
D9：增强现实服务器12在作业者按照S70而将现实工具RT的套头部RTH重合于与假想螺栓IBn对应的现实螺栓RBn的头部时，对在D8中回转的假想工具IT与现实工具RT重合的瞬间进行捕捉。
D10：增强现实服务器12在D9中捕捉到回转的假想工具IT与现实工具RT重合的瞬间时，增强现实服务器12判断假想工具IT的套头部的坐标ITHO(ITHX1，ITHY1，ITHZ1)与现实工具RT的套头部的坐标RTHO(RTHX1，RTHY1，RTHZ1)重合。
并且，增强现实服务器12对与被套上现实工具RT的现实螺栓RBn一一对应的假想螺栓Ibn的坐标IBO(IBX1，IBY1，IBZ1)、与假想工具IT的套头部ITH的坐标RTHO(RTHX1，RTHY1，RTHZ1)进行比较验证，确认假想工具IT的套头部ITH的坐标RTHO与假想螺栓IBn的坐标IBO重合或处于能够判断为重合的程度的范围内。通过该确认，任意的现实螺栓RBn被确定为紧固对象。
在D8的情况下，增强现实服务器12无需让作业者使假想工具IT追随在增强现实空间内运动的现实工具RT，因此能够抑制增强现实服务器12的解析负荷变大。因此，增强现实服务器12的解析负荷不容易变大，能够以较小的解析负荷将现实工具RT与假想工具IR重合，因此能够在结果上将假想螺栓IBn确定为紧固对象。
如以上所说明的，本发明的一方式一种基于增强现实的机械紧固部的管理方法，其是使用了对现实空间叠加假想空间而生成的增强现实空间的基于增强现实的机械紧固部的管理方法，其特征在于，所述现实空间包括现实紧固部、以及套在所述现实紧固部上的现实工具，所述假想空间包括假想紧固部、以及套在所述假想紧固部上的假想工具，在所述增强现实空间中，所述现实紧固部与所述假想紧固部一一对应，生成所述增强现实空间的增强现实构成系统具有：相机，其拍摄所述现实空间；以及增强现实服务器，其与所述相机连接，并且对所述相机所设置的图像进行解析，所述管理方法包括紧固对象确定步骤，在该紧固对象确定步骤中，将所述现实工具的套头部套在所述现实紧固部上，由此将所述现实紧固部选定为紧固对象，并且将所述现实紧固部被选择为紧固对象的信息传达给所述假想紧固部。
由此，在机动车维修等机械紧固作业中，能够在不对紧固部附加RFIC标签等识别标识的情况下容易地记录作业的进展状况，能够实施高品质且运用成本小的紧固作业。
另外，在本发明的其他方式中，接着所述紧固对象确定步骤，所述基于增强现实的机械紧固部的管理方法还包括：紧固步骤，利用所述现实工具紧固所述现实紧固部；紧固管理信息取得步骤，取得在所述紧固步骤中紧固了所述现实紧固部的紧固管理信息；以及紧固管理信息附加图像保存步骤，在所述增强现实空间中，保存所述紧固步骤结束后的紧固结束图像、以及对所述紧固结束图像附加所述紧固管理信息而得的紧固管理信息附加图像。
这样，通过取得并保存表示紧固作业结束后的情形的信息以及图像，从而能够记录紧固作业可靠地结束后的状况，能够抑制紧固作业遗忘。
另外，在本发明的其他方式中，所述现实工具具备发送接收所述现实紧固部的转矩信息的发送接收部、以及显示由所述发送接收部得到的转矩信息的显示部，在所述增强现实构成系统感测到在所述显示部上显示了所述现实紧固部以规定转矩紧固的信息之后，处理紧固管理信息附加图像保存步骤。
这样，通过取得并显示转矩信息，能够确认螺栓等机械紧固部是否以规定的转矩被紧固，从而能够提高紧固作业的品质。
另外，在本发明的其他方式中，所述基于增强现实的机械紧固部的管理方法还包括初期紧固转矩保存步骤，在该初期紧固转矩保存步骤中，对在被套上所述现实工具而被选定为紧固对象的所述现实紧固部中产生了初期紧固转矩的情况进行记录，该初期紧固转矩是所述现实工具开始紧固所述现实紧固部时所观察到的转矩。
这样，通过记录在所述现实紧固部中产生了初期转矩的情况，从而能够抑制紧固作业遗忘。
另外，在本发明的其他方式中，所述现实工具包括所述套头部、供作业者把持的把持部、以及将所述套头部与所述把持部连接的柄部，所述柄部具备标记，所述标记包括表示从所述标记向所述套头部的方向的方向信息、以及从所述标记至所述套头部为止的距离信息。
这样，通过包括表示从标记向套头部的方向的方向信息、以及从标记至套头部为止的距离信息，从而能够计算表示紧固部的位置的坐标。
另外，在本发明的其他方式中，在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：取得对所述相机拍摄到的所述现实空间进行解析而得到的表示所述现实紧固部的位置的现实紧固部坐标、以及对所述相机拍摄到的所述现实空间进行解析而得到的表示所述现实工具的套头部的位置的现实工具套头部坐标，对所述现实工具的套头部的所述现实工具套头部坐标与所述现实紧固部的所述现实紧固部坐标重合的情况进行感测，向与所述现实紧固部一一对应的所述假想紧固部传达所述现实紧固部被套上所述现实工具的套头部而被选择为紧固对象的信息。
这样，通过取得表示现实紧固部的位置的现实紧固部坐标、以及表示现实工具的套头部的位置的现实工具套头部坐标，从而能够确定被选择为紧固对象的紧固部，能够实时记录紧固作业的进展状况。
另外，在本发明的其他方式中，在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：对所述相机拍摄到的所述现实空间进行解析而取得表示所述现实紧固部的位置的现实紧固部坐标，从所述假想空间向所述增强现实空间调出与所述相机拍摄到的所述现实工具对应的所述假想工具，取得所述假想工具与所述现实工具重合且表示所述假想工具的套头部的位置的假想工具套头部坐标，在使所述假想工具追随所述现实工具的运动而所述现实工具的套头部套在所述现实紧固部上时，判断为所述假想工具的套头部的所述假想工具套头部坐标与所述现实紧固部的所述现实紧固部坐标重合，向与所述现实紧固部一一对应的所述假想紧固部传达所述现实紧固部被套上所述现实工具的套头部而被选择为紧固对象的信息。
另外，在本发明的其他方式中，在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：对所述相机拍摄到的所述现实空间进行解析而取得表示所述现实工具的套头部的位置的现实工具套头部坐标，生成提醒作业者进行紧固的包含所述假想紧固部在内的假想水平面，生成通过所述现实工具的套头部的所述现实工具套头部坐标并且与所述假想水平面相交的假想垂线，在所述假想水平面内，检测所述假想垂线与所述假想水平面相交的交点、与表示所述假想紧固部的位置的假想紧固部坐标之间的距离，基于所述距离来判断所述现实工具的套头部的所述现实工具套头部坐标与所述假想紧固部的所述假想紧固部坐标重合，向与套上了所述现实工具的套头部的所述现实紧固部一一对应的所述假想紧固部传达选择为紧固对象的信息。
另外，在本发明的其他方式中，在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：在增强现实空间中，从所述假想空间调出与所述相机拍摄到的所述现实工具对应的所述假想工具，将所述假想工具的套头部的垂直轴与提醒作业者进行紧固的表示所述假想紧固部的位置的假想紧固部坐标的垂直轴重合，并且使所述假想工具绕着两者的垂直轴在水平面内回转，在将所述现实工具的套头部套在所述现实紧固部上时，在捕捉到回转的所述假想工具与所述现实工具重合的瞬间时，将与所述现实工具的套头部重合而所述现实紧固部被选择为紧固对象的信息向所述假想紧固部传达。
由此，能够判断被选择为紧固对象的紧固部是否被可靠地紧固，能够提高紧固作业的品质。
以上，对本发明的实施方式进行了说明，但本发明并不限定于上述的实施方式，能够在不脱离本发明的主旨的范围内进行各种变更。
附图标记说明：
RBn(n＝1～4)…现实螺栓(现实空间)
RBO…现实螺栓的坐标
IBn(n＝1～4)…假想螺栓(假想空间)
IBO…假想螺栓的坐标
RPn(n＝1～4)…现实部件的贯穿孔(现实空间)
RQn(n＝1～4)…现实基盘的螺纹孔(现实空间)
AF…现实螺栓的轴力
AFS…现实螺栓的规定轴力
RD1…现实基盘(现实空间)
RD2…现实部件(现实空间)
RM…现实空间的基准点
IM…假想空间的基准点
RT…现实工具
RTH…现实工具的套头部
RTE…现实工具的柄部
RTG…现实工具的把手部
RTHO…现实工具的套头部的坐标
RTMn(n＝1～5)…现实工具上附加的标记(标志)
IT…假想工具
ITH…假想工具的套头部
ITHO…假想工具的套头部的坐标
IPL…假想平面
ILn(n＝1～3)…假想垂线(线段)
ID1…假想平面上的距离
SIZL…假想垂线与假想平面的交点
SIL1…假想线段与假想平面的接点
TL…结束紧固转矩
TS…规定紧固转矩
TB…初期紧固转矩
5…网络
7…可穿戴装置(头盔)
10…相机
12…增强现实(AR)服务器14…透视型屏幕(HMD)
22…设计信息服务器
26…作业管理服务器
28…转矩管理服务器
29…解析服务器
30…紧固管理信息RX、RY、RZ…现实空间的坐标系IX、IY、IZ…假想空间的坐标系。

Claims (9)

1.一种基于增强现实的机械紧固部的管理方法，其是使用了对现实空间叠加由数字信息构筑出的空间即假想空间而生成的增强现实空间的机械紧固部的管理方法，其特征在于，
所述现实空间包括现实紧固部、以及套在所述现实紧固部上的现实工具，
所述假想空间包括假想紧固部、以及套在所述假想紧固部上的假想工具，
在所述增强现实空间中，所述现实紧固部与所述假想紧固部一一对应，
生成所述增强现实空间的增强现实构成系统具有：
相机，其拍摄所述现实空间；以及
增强现实服务器，其与所述相机连接，并且对所述相机所设置的图像进行解析，
所述管理方法包括紧固对象确定步骤，在该紧固对象确定步骤中，将所述现实工具的套头部套在所述现实紧固部上，由此将所述现实紧固部选定为紧固对象，并且将所述现实紧固部被选择为紧固对象的信息传达给所述假想紧固部。
2.根据权利要求1所述的基于增强现实的机械紧固部的管理方法，其特征在于，
接着所述紧固对象确定步骤，所述基于增强现实的机械紧固部的管理方法还包括：
紧固步骤，利用所述现实工具紧固所述现实紧固部；
紧固管理信息取得步骤，取得在所述紧固步骤中紧固了所述现实紧固部的紧固管理信息；以及
紧固管理信息附加图像保存步骤，在所述增强现实空间中，保存所述紧固步骤结束后的紧固结束图像、以及对所述紧固结束图像附加所述紧固管理信息而得的紧固管理信息附加图像。
3.根据权利要求2所述的基于增强现实的机械紧固部的管理方法，其特征在于，
所述现实工具具备发送接收所述现实紧固部的转矩信息的发送接收部、以及显示由所述发送接收部得到的转矩信息的显示部，
在所述增强现实构成系统感测到在所述显示部上显示了所述现实紧固部以规定转矩紧固的信息之后，处理紧固管理信息附加图像保存步骤。
4.根据权利要求3所述的基于增强现实的机械紧固部的管理方法，其特征在于，
所述基于增强现实的机械紧固部的管理方法还包括初期紧固转矩保存步骤，在该初期紧固转矩保存步骤中，对在被套上所述现实工具而被选定为紧固对象的所述现实紧固部中产生了初期紧固转矩的情况进行记录，该初期紧固转矩是所述现实工具开始紧固所述现实紧固部时所观察到的转矩。
5.根据权利要求4所述的基于增强现实的机械紧固部的管理方法，其特征在于，
所述现实工具包括所述套头部、供作业者把持的把持部、以及将所述套头部与所述把持部连接的柄部，
所述柄部具备标记，
所述标记包括表示从所述标记向所述套头部的方向的方向信息、以及从所述标记至所述套头部为止的距离信息。
6.根据权利要求5所述的基于增强现实的机械紧固部的管理方法，其特征在于，
在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：
取得对所述相机拍摄到的所述现实空间进行解析而得到的表示所述现实紧固部的位置的现实紧固部坐标、以及对所述相机拍摄到的所述现实空间进行解析而得到的表示所述现实工具的套头部的位置的现实工具套头部坐标，
对所述现实工具的套头部的所述现实工具套头部坐标与所述现实紧固部的所述现实紧固部坐标重合的情况进行感测，
向与所述现实紧固部一一对应的所述假想紧固部传达所述现实紧固部被套上所述现实工具的套头部而被选择为紧固对象的信息。
7.根据权利要求5所述的基于增强现实的机械紧固部的管理方法，其特征在于，
在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：
对所述相机拍摄到的所述现实空间进行解析而取得表示所述现实紧固部的位置的现实紧固部坐标，
从所述假想空间向所述增强现实空间调出与所述相机拍摄到的所述现实工具对应的所述假想工具，
取得所述假想工具与所述现实工具重合且表示所述假想工具的套头部的位置的假想工具套头部坐标，
在使所述假想工具追随所述现实工具的运动而所述现实工具的套头部套在所述现实紧固部上时，判断为所述假想工具的套头部的所述假想工具套头部坐标与所述现实紧固部的所述现实紧固部坐标重合，
向与所述现实紧固部一一对应的所述假想紧固部传达所述现实紧固部被套上所述现实工具的套头部而被选择为紧固对象的信息。
8.根据权利要求5所述的基于增强现实的机械紧固部的管理方法，其特征在于，
在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：
对所述相机拍摄到的所述现实空间进行解析而取得表示所述现实工具的套头部的位置的现实工具套头部坐标，
生成提醒作业者进行紧固的包含所述假想紧固部在内的假想水平面，
生成通过所述现实工具的套头部的所述现实工具套头部坐标并且与所述假想水平面相交的假想垂线，
在所述假想水平面内，检测所述假想垂线与所述假想水平面相交的交点、与表示所述假想紧固部的位置的假想紧固部坐标之间的距离，
基于所述距离来判断所述现实工具的套头部的所述现实工具套头部坐标与所述假想紧固部的所述假想紧固部坐标重合，
向与套上了所述现实工具的套头部的所述现实紧固部一一对应的所述假想紧固部传达选择为紧固对象的信息。
9.根据权利要求5所述的基于增强现实的机械紧固部的管理方法，其特征在于，
在所述紧固对象确定步骤中，所述增强现实服务器进行如下作业：
在增强现实空间中，从所述假想空间调出与所述相机拍摄到的所述现实工具对应的所述假想工具，
将所述假想工具的套头部的垂直轴与提醒作业者进行紧固的表示所述假想紧固部的位置的假想紧固部坐标的垂直轴重合，并且使所述假想工具绕着两者的垂直轴在水平面内回转，
在将所述现实工具的套头部套在所述现实紧固部上时，在捕捉到回转的所述假想工具与所述现实工具重合的瞬间时，将与所述现实工具的套头部重合而所述现实紧固部被选择为紧固对象的信息向所述假想紧固部传达。
CN201880098524.5A 2018-10-10 2018-10-10 基于增强现实的机械紧固部的管理方法 Active CN113784822B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037681 WO2020075232A1 (ja) 2018-10-10 2018-10-10 拡張現実による機械的締結部の管理方法

Publications (2)

Publication Number Publication Date
CN113784822A CN113784822A (zh) 2021-12-10
CN113784822B true CN113784822B (zh) 2023-09-26

Family

ID=70165186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098524.5A Active CN113784822B (zh) 2018-10-10 2018-10-10 基于增强现实的机械紧固部的管理方法

Country Status (5)

Country Link
US (1) US11270473B2 (zh)
EP (1) EP3865252B8 (zh)
JP (1) JP6802547B2 (zh)
CN (1) CN113784822B (zh)
WO (1) WO2020075232A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3043351B1 (fr) * 2015-11-09 2017-12-22 Airbus Operations Sas Procede et dispositif de controle du serrage d'un assemblage par une fixation filetee
US10699165B2 (en) 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
US11443495B2 (en) * 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
IT201900013077A1 (it) * 2019-07-26 2021-01-26 Scs Concept S R L Chiave dinamometrica elettronica con rilevazione di uso non corretto
JP7138303B1 (ja) 2022-02-04 2022-09-16 ジーダブルテクノロジー株式会社 締結作業支援プログラム
US20230326096A1 (en) * 2022-04-12 2023-10-12 Kabushiki Kaisha Toshiba Processing device, processing system, head mounted display, processing method, and storage medium
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality
SE2230337A1 (en) * 2022-10-20 2024-02-13 Atlas Copco Ind Technique Ab Control device and method for determining a joint identity of a tightened joint

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146584A (ja) * 2004-11-19 2006-06-08 Canon Inc 画像提示方法及び情報処理装置
CN104023906A (zh) * 2011-12-27 2014-09-03 三菱电机工程株式会社 操作管理装置及操作管理系统
TW201604800A (zh) * 2014-06-04 2016-02-01 松下知識產權經營股份有限公司 控制裝置及利用其之作業管理系統
JP2016091316A (ja) * 2014-11-05 2016-05-23 パナソニックＩｐマネジメント株式会社 作業管理装置、作業管理システム、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005954A (ja) * 1998-06-22 2000-01-11 Shimadzu Corp 情報提供システム
JP5065851B2 (ja) 2007-10-19 2012-11-07 株式会社日立製作所 作業管理システム
JP5344388B2 (ja) * 2008-07-10 2013-11-20 学校法人立命館 操作システム
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
WO2015006334A1 (en) * 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
CN106231160A (zh) * 2015-06-02 2016-12-14 株式会社理光 工作指令系统、图像处理设备和信息处理方法
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
JP6738007B2 (ja) * 2015-12-09 2020-08-12 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2017167992A (ja) * 2016-03-17 2017-09-21 Kddi株式会社 ヘッドマウント装置、プログラム、作業支援システム及び情報処理装置
WO2017169907A1 (ja) * 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、作業支援方法および記録媒体
JPWO2017169909A1 (ja) * 2016-03-29 2019-02-14 日本電気株式会社 作業支援装置、ウェアラブル端末、作業支援方法およびコンピュータプログラム
US20180096531A1 (en) * 2016-09-30 2018-04-05 Daqri, Llc Head-mounted display and intelligent tool for generating and displaying augmented reality content
WO2018083687A1 (en) * 2016-10-07 2018-05-11 Simbionix Ltd Method and system for rendering a medical simulation in an operating room in virtual reality or augmented reality environment
US10895950B2 (en) * 2016-12-09 2021-01-19 International Business Machines Corporation Method and system for generating a holographic image having simulated physical properties
JP2018194914A (ja) * 2017-05-12 2018-12-06 富士電機株式会社 システム、方法、及びプログラム
KR102395030B1 (ko) * 2017-06-09 2022-05-09 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
WO2019218081A1 (en) * 2018-05-18 2019-11-21 Marion Surgical Inc. A virtual reality surgical system including a surgical tool assembly with haptic feedback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146584A (ja) * 2004-11-19 2006-06-08 Canon Inc 画像提示方法及び情報処理装置
CN104023906A (zh) * 2011-12-27 2014-09-03 三菱电机工程株式会社 操作管理装置及操作管理系统
TW201604800A (zh) * 2014-06-04 2016-02-01 松下知識產權經營股份有限公司 控制裝置及利用其之作業管理系統
JP2016091316A (ja) * 2014-11-05 2016-05-23 パナソニックＩｐマネジメント株式会社 作業管理装置、作業管理システム、及びプログラム

Also Published As

Publication number Publication date
EP3865252B1 (en) 2023-12-06
CN113784822A (zh) 2021-12-10
WO2020075232A1 (ja) 2020-04-16
US20210350588A1 (en) 2021-11-11
JPWO2020075232A1 (ja) 2021-02-15
US11270473B2 (en) 2022-03-08
EP3865252A4 (en) 2022-05-18
JP6802547B2 (ja) 2020-12-16
EP3865252B8 (en) 2024-01-10
EP3865252A1 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
CN113784822B (zh) 基于增强现实的机械紧固部的管理方法
US10786906B2 (en) Robot system
CN108604393B (zh) 信息处理系统、信息处理装置、信息处理方法以及计算机可读取的存储介质
JP4757142B2 (ja) 撮影環境校正方法及び情報処理装置
US20150202776A1 (en) Data generation device for vision sensor and detection simulation system
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
KR20150139609A (ko) 부품 부착 작업 지원 시스템 및 부품 부착 방법
CN110132129B (zh) 基于增强现实的检查系统及方法
JP7414395B2 (ja) 情報投影システム、制御装置、及び情報投影制御方法
JP2017107349A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN112639226A (zh) 校正作业支援系统
JP5895792B2 (ja) 作業補助システムおよびプログラム
JP6364389B2 (ja) 検査方法及び検査システム
EP4261636A1 (en) Processing device, processing system, head mounted display, processing method, program, and storage medium
KR20210021003A (ko) 컴퓨터 비전을 사용하여 3d 속성을 측정하기 위한 시스템 및 방법
US20230356405A1 (en) Robot control system, and control device
WO2022176928A1 (ja) 教示装置
JP2019113882A (ja) 頭部装着装置
JP6515473B2 (ja) 動作指示システム、動作指示方法、および、動作指示管理サーバ
JP2023156237A (ja) 処理装置、処理システム、頭部装着ディスプレイ、処理方法、プログラム、及び記憶媒体
JP2005218783A (ja) ゴルフスイング計測システムおよびゴルフクラブ
JP2020170482A (ja) 作業指示システム
JP2017120512A (ja) 作業支援システムおよび方法
JP2005032254A (ja) 実空間内での指示対象物検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant