CN105229705B - 零件组装作业支持系统及零件组装方法 - Google Patents

零件组装作业支持系统及零件组装方法 Download PDF

Info

Publication number
CN105229705B
CN105229705B CN201480028852.XA CN201480028852A CN105229705B CN 105229705 B CN105229705 B CN 105229705B CN 201480028852 A CN201480028852 A CN 201480028852A CN 105229705 B CN105229705 B CN 105229705B
Authority
CN
China
Prior art keywords
assembling
operator
image
imaginary
composograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480028852.XA
Other languages
English (en)
Other versions
CN105229705A (zh
Inventor
志子田繁一
中村直弘
中野信一
赤松政彦
米本臣吾
渡海大辅
河本孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN105229705A publication Critical patent/CN105229705A/zh
Application granted granted Critical
Publication of CN105229705B publication Critical patent/CN105229705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本系统包括：摄像机构(3)，在作业者的视点位置对作业者的视线方向上的作业空间与应组装一零件的另一零件一起拍摄；位置姿势信息取得机构(14、15)，取得表示作业者的视点与作业空间中的另一零件的相对性的位置姿势关系的位置姿势信息；假想图像产生机构(16)，基于位置姿势信息而产生作业者的视点位置及作业者的视线方向上的一零件的实物形状的假想图像；图像合成机构(17)，使假想图像重叠在通过摄像机构(5)拍摄的作业空间的现实图像而产生合成图像；及显示机构(6)，显示合成图像。根据本系统，能够利用复合现实感技术而使零件的组装作业的效率大幅提高。

Description

零件组装作业支持系统及零件组装方法
技术领域
本发明涉及一种用来使用复合现实感技术支持零件的组装作业的零件组装作业支持系统及使用该系统的零件组装方法。
背景技术
以往以来，在用来制造构造物等的零件的组装作业中，通过将组合的零件(工件)彼此在组装作业之前事前对接等，而确认组装是否无障碍或是否容易组装等组装性。
然而，在零件过大而不容易移动的情况下，或组合的零件分别在不同的场所制作、保存的情况下，在组装作业之前确认组装性极其困难或不可能。
因此，必须在开始实际的组装作业后发现问题点，暂且中止组装作业而进行零件的修正作业。如此暂且中止组装作业而进行零件的修正作业，由此步骤产生延迟。
为了避免此种事态，例如，也考虑使接收在不同工厂制作的零件时的接收检查的条件(检查项目的数量等)比目前更严格，而在接受零件的时间点发现问题点。或者，另外，也考虑使在其他工厂中的出货时间点的检查条件比目前更严格。
然而，若使出货时间点或接收时间点的检查条件太严格，则存在用来检查的成本增加的问题，另外，也存在该不同的工厂本来未设置检查设备(尺寸测量机构等)的情况。
另外，一般而言，在组装作业中使用组装说明书或作业细则等。这是以纸张为基础利用图式或文字进行说明的情况较多。另外，最近，也采取如下方法，即，使用利用PC(personal computer，个人计算机)或平板终端使用立体图或动态图像等的交互式的容易理解的内容。
然而，由于作业者将组装说明书或作业细则放置在旁边，一面确认组装说明书或作业细则的内容一面对应作业，因此作业者的视线移动距离变大，会进行无用的动作。
另外，即便在内容方面下功夫，最终仍需一面对比指示内容与实物一面进行作业，为了理解内容而需要理解图或文字。
其结果，存在作业者的身体上或精神上的负担变大的问题。
此外，近年来，将假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者的复合现实感(MR：Mixed Reality)技术，作为使现实世界与假想世界无缝地实时地融合的图像技术受到关注(专利文献1-4)。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2005-107968号公报
专利文献2：日本专利特开2005-293141号公报
专利文献3：日本专利特开2003-303356号公报
专利文献4：日本专利特开2008-293209号公报
发明内容
[发明要解决的问题]
因此，本发明的目的在于提供一种能够利用复合现实感技术解决零件的组装作业中的所述问题，实现作业效率的大幅的提高的零件组装作业支持系统及使用该系统的零件组装方法。
[解决问题的技术手段]
为了解决所述问题，本发明是一种零件组装作业支持系统，用来支持零件的组装作业，且包括：摄像机构，用来在作业者的视点位置对作业者的视线方向上的作业空间与应组装一零件的另一零件一起拍摄；位置姿势信息取得机构，用来取得表示所述作业者的视点与所述作业空间中的所述另一零件的相对性的位置姿势关系的位置姿势信息；假想图像产生机构，用来基于所述位置姿势信息而产生所述作业者的所述视点位置及作业者的视线方向上的所述一零件的实物形状的假想图像；图像合成机构，用来使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及显示机构，用来显示所述合成图像。
另外，优选为，所述假想图像产生机构基于通过三维扫描仪而获得的所述一零件的三维实物形状数据而产生所述假想图像。
另外，优选为，所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记暂定地设置在相对于所述另一零件上的基准点的特定的相对位置。
另外，优选为，所述位置姿势信息取得机构具有位置方向测量装置，该位置方向测量装置用来测量所述作业者的视点位置及作业者的视线方向、以及所述工件的位置。
另外，优选为，本发明的零件组装作业支持系统还具备用来产生与所述零件的组装顺序相关的组装顺序信息的组装顺序信息产生部，在所述组装顺序信息产生部产生的所述组装顺序信息被组入至通过所述图像合成机构产生的所述合成图像中。
为了解决所述问题，本发明是一种零件组装方法，使用用来支持零件的组装作业的零件组装作业支持系统，且包括：摄像步骤，在作业者的视点位置对作业者的视线方向上的作业空间与应组装一零件的另一零件一起拍摄；位置姿势信息取得步骤，取得表示所述作业者的视点与所述作业空间中的所述另一零件的相对性的位置姿势关系的位置姿势信息；假想图像产生步骤，基于所述位置姿势信息而产生所述作业者的所述视点位置及作业者的视线方向上的所述一零件的实物形状的假想图像；图像合成步骤，使所述假想图像重叠于在所述摄像步骤中拍摄的所述作业空间的现实图像而产生合成图像；及显示步骤，显示所述合成图像。
另外，优选为，所述位置姿势信息取得步骤包含标记设置步骤，该标记设置步骤将复合现实感用标记暂定地设置在相对于所述另一零件上的基准点的特定的相对位置。
另外，优选为，为了判断所述一零件与所述另一零件的组装性的良否，而在所述显示步骤显示出的所述合成图像中，将所述一零件的实物形状的假想图像与所述另一零件的现实图像对接。
另外，优选为，本发明的零件组装方法还具备产生与所述零件的组装顺序相关的组装顺序信息的组装顺序信息产生步骤，将在所述组装顺序信息产生步骤产生的所述组装顺序信息组入至在所述图像合成步骤产生的所述合成图像中。
[发明效果]
根据本发明的零件组装作业支持系统及使用该系统的零件组装方法，通过利用复合现实感技术，不将实际的零件彼此对接即可确认组装性，因此能够使零件组装的作业效率大幅提高。
附图说明
图1是表示本发明的一实施方式的零件组装作业支持系统的概略构成的框图。
图2是表示图1所示的零件组装作业支持系统的概略构成的示意图。
图3是将图1所示的零件组装作业支持系统的标记部件放大而表示的立体图。
图4是表示使用图1所示的零件组装作业支持系统检查零件、根据需要进行修正、组装的一系列的组装步骤的示意图。
图5是表示图1所示的零件组装作业支持系统的一变形例的概略构成的示意图。
图6是表示图1所示的零件组装作业支持系统的另一变形例的概略构成的框图。
图7是用来说明图6所示的零件组装作业支持系统的示意图。
图8是用来说明以往的零件组装作业的示意图。
图9是用来说明以往的零件组装作业的另一示意图。
具体实施方式
以下，对本发明的一实施方式的零件组装作业支持系统及使用该系统的零件组装方法进行说明。
此外，成为本系统的支持的对象的零件组装作业典型而言为制造锅炉及其他大型构造物时的零件组装作业，但除此以外，还可支持用来组装多个零件而制造成品的各种零件组装作业。
本实施方式的零件组装作业支持系统使用复合现实感技术，所以首先对复合现实感技术进行概述。
如上所述般，所谓复合现实感技术是指使假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者，而使现实世界与假想世界无缝地实时地融合的影像技术。
也就是说，该复合现实感技术将通过将现实空间图像与根据观察者的视点位置、视线方向而产生的假想空间图像合成所得的合成图像提供给观察者。而且，能够使观察者以实际尺寸感知假想物体的比例，感知假想物体真正存在于现实世界。
根据该复合现实感技术，并非利用鼠标或键盘来操作计算机图形(CG)，而观察者能够实际移动并从任意的位置或角度观察。也就是说，能够利用图像位置对准技术将CG放置在指定的场所，使用例如透明型的头戴式显示器(HMD：Head Mount Display)从各种角度观察该CG。
为了表现复合现实感空间(MR空间)，必须取得在现实空间中定义的基准坐标系，即成为决定想要重叠在现实空间的假想物体的位置姿势的基准的现实空间中的坐标系与摄像部的坐标系(照相机坐标系)之间的相对性的位置姿势关系。
作为用于此的适当的图像位置对准技术，例如，可列举利用磁传感器、光学式传感器、或超声波传感器的技术，或利用标记、陀螺仪的技术等。
此处，所谓标记(也称为“地标”)是指用于图像的位置对准而使用的指标，且是能够通过利用安装在HMD的照相机(摄像装置)拍摄配置在现实空间内的标记，而利用图像处理来推断照相机的位置姿势。
也就是说，在现实空间中的已知的三维坐标配置具有特定的视觉特征的标记，检测现实图像中所包含的标记，并根据所检测出的标记的构成要素(标记的中心或顶点等)的二维图像位置与已知的三维坐标而计算出照相机(摄像装置)的位置姿势。
本实施方式的零件组装作业支持系统利用所述复合现实感技术，以下参照图1至图4对本系统的构成进行说明。
如图1及图2所示，本实施方式的零件组装作业支持系统1包括系统主体2、在与该系统主体2之间进行数据通讯的头戴式显示器(HMD)3、及标记部件8。
零件组装作业支持系统1的系统主体2由包括CPU(Central Processing Unit，中央处理器)、RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)、外部存储装置、存储媒体驱动装置、显示装置、输入元件等的计算机而构成。
如图2所示，HMD3安装在作业者4的头部，包括摄像部5及显示部6。摄像部5及显示部6分别设置有2个，摄像部5R及显示部6R为右眼用，摄像部5L及显示部6L为左眼用。根据该构成，能够对将HMD3安装在头部的作业者4的右眼与左眼提示视差图像，并能够三维显示MR图像(合成图像)。
HMD3的摄像部5对在标记设置步骤中暂定地设置在第一零件(工件)7A上的MR用标记部件8与该第一零件7A一起拍摄(摄像步骤)。标记部件8设置在相对于第一零件7A上的基准点的特定的相对位置。
如图3所示，本实施方式的标记部件8包括：三角形的框部9；各支撑部10，设置在三角形的框部件9的各顶点的下表面；及各复合现实感用标记11，设置在三角形的框部件9的各顶点的上表面。
如图1所示，通过HMD3的摄像部5取得的现实空间的现实图像被输入至系统主体2的现实图像取得部12。该现实图像取得部12将所输入的现实图像的数据输出至系统主体2的存储部13。
存储部13保持MR图像(合成图像)的提示处理所需要的信息，根据处理进行信息的读出或更新。
另外，系统主体2具备标记检测部14，该标记检测部14用来从存储部13保持的现实图像中检测设置在标记部件8的标记11。
而且，配置在作为现实物体的第一零件7A上的标记部件8的标记11的检测结果从标记检测部14经由存储部13被发送至摄像部位置姿势推断部15。该摄像部位置姿势推断部15基于标记11的检测结果，而推断将第一零件7A本身的物体坐标系作为基准坐标系的HMD3的摄像部5的位置姿势(位置姿势信息取得步骤)。
此处，标记部件8、标记检测部14、及摄像部位置姿势推断部15构成零件组装作业支持系统1中的位置姿势信息取得机构。
通过摄像部位置姿势推断部15推断的HMD3的摄像部5的位置姿势被发送至假想图像产生部16。假想图像产生部16基于从摄像部位置姿势推断部15发送的摄像部5的位置姿势，即作业者4的视点位置及作业者的视线方向，而产生从摄像部5的位置姿势观察的另一零件(工件)7B的三维的假想图像(假想图像产生步骤)。
此处，在本实施方式的零件组装作业支持系统1中，在该假想图像产生部16中，基于来自三维扫描仪18的数据而产生应组装至第一零件7A的第二零件的假想图像30V。
更具体而言，如图4所示，通过三维扫描仪18三维测量第二零件7B而取得第二零件7B的三维实物形状数据。此时，第二零件7B也可保管在与制造作为其组装对象的第一零件7A的工厂不同的工厂。
其次，利用三维扫描仪18而取得的第二零件7B的三维实物形状数据被发送至系统主体2的存储部13，并保存于此。而且，假想图像产生部16基于保存在存储部13的第二零件7B的三维实物形状数据，而产生第二零件7B的假想图像19。
也就是说，在假想图像产生部16中产生的第二零件7B的假想图像19并非为与第二零件7B的理想形状相关的假想图像，而是与实际的第二零件7B的实物形状相关的假想图像。因此，该第二零件7B的假想图像表示受到加工误差、安装误差、应变、变形、加工处理的影响等的实际的形状。
在假想图像产生部16中产生的第二零件7B的假想图像19被发送至系统主体2的图像合成部17。图像合成部17使从假想图像产生部16发送的第二零件7B的假想图像19重叠在存储部13所保持的第一零件7A的现实图像，而产生MR图像(合成图像)(图像合成步骤)。
利用图像合成部17产生的MR图像(合成图像)被输出至HMD3的显示部6(显示步骤)。由此，在HMD3的显示部6，显示与HMD3的摄像部5的位置姿势对应的现实空间的图像与假想空间的图像重叠的MR图像，从而能够使将该HMD3安装在头部的作业者4体验复合现实空间。
然后，作业者4如图4所示，使显示在MR图像的与第二零件7B的实物形状相关的假想图像19与同样地显示在MR图像的第一零件7A的现实图像20对接，而判断这些零件彼此的组装性的良否。
作业者4在使与第二零件7B的实物形状相关的假想图像19与第一零件7A的现实图像20对接的结果而判断为两零件间的组装性存在问题的情况下，修正第一零件7A及第二零件7B的任一者或两者而确保两零件间的组装性。
用来确保该组装性的作业，即便在第一零件7A与第二零件7B不在相同的场所(工厂)而分别处在不同的场所(工厂)的情况下也可实施。
若能够确保第一零件7A与第二零件7B的组装性，则将第二零件7B搬入至保管有第一零件7A的工厂，在此处组装两零件。此时，如上所述两零件的组装性已得以确保。
相对于此，在图9所示的以往的组装方法中，首先，将在其他工厂制作的第二零件7B搬入至保管有第一零件7A的工厂，并在那里将两零件的实物彼此对接。
而且，在两零件的组装性存在问题的情况下，修正第一零件7A及第二零件7B的任一者或两者而确保组装性，然后组装两零件。
如此，在以往的组装方法中，在实际的组装作业中通过将零件的实物彼此对接来确认组装性，因此在组装性存在问题的情况下必须中断组装作业，从而作业效率降低。
另一方面，根据本实施方式的零件组装作业支持系统1，能够通过将与第二零件7B的实物形状相关的假想图像19与第一零件7A的现实图像20对接而确认两零件的组装性。
因此，即便在第一零件7A与第二零件7B处于互不相同的场所的情况下也能够确认两零件的组装性。或者，另外，即便在零件过大而不容易移动的情况下，不移动零件也可确认零件彼此的组装性。
相对于此，根据本实施方式的零件组装作业支持系统1，由于使与第二零件7B的实物形状相关的假想图像19与第一零件7A的现实图像20对接，因此能够整体上验证两零件的组装性。
根据以上内容，在本实施方式的零件组装作业支持系统1中，在实际组装两零件之前确保组装性，其结果不在中途中断组装作业即能够顺利地于短时间结束，从而可使零件组装的作业效率大幅提高。
此外，在所述实施方式中，利用三维扫描仪18测量第二零件7B的整体，而产生与第二零件7B的整体形状相关的假想图像19，但是，例如，也可利用三维扫描仪18仅测量第二零件7B整体中的需要验证组装性的部位，而产生仅关于该部位的假想图像。总之，只要将基准位置对准，则能够适当选择产生假想图像的部位的范围。
图5表示所述实施方式的一变形例。在所述实施方式中，由标记部件8、标记检测部14、及摄像部位置姿势推断部15构成零件组装作业支持系统1中的位置姿势信息取得机构。
在本变形例中，代替此，或与此组合，如图5所示，设置用来测量作业者4的视点位置及作业者的视线方向、以及第一零件7A的位置的位置方向测量装置21。作为此种位置方向测量装置21，例如能够使用超声波传感器或磁式、光学式位置测量传感器。
另外，也可代替如上所述的另行准备的复合现实感用标记11，而将第一零件7A本身的一部分(例如，作为几何学上特征点的角部)用作位置对准用的基准点(一种标记)。
图6表示所述实施方式的另一变形例，本变形例的零件组装作业支持系统1是相对于图1所示的所述实施方式的构成，进而追加用来产生与零件的组装顺序相关的组装顺序信息的组装顺序信息产生部22。
在该组装顺序信息产生步骤中产生的组装顺序信息被组装至通过图像合成机构17产生的合成图像中，且显示在HMD3的显示部6。
作为组装顺序信息的类型，能够使用将作业顺序以文字表示的文本信息、将组装顺序以动态图像表示的动画信息、或将下一零件点亮而指示等的导航信息。
例如，如图7所示，在进行将筒状零件24组装至主体零件23的作业时，在HMD3的显示部6显示“组装”的字符作为文本信息，并且显示筒状零件24的移动轨迹(箭头)作为组装后的筒状零件的假想图像25以及导航或动画信息。
此处，显示在HMD3的显示部6的筒状零件24的假想图像25能够使用基于利用三维扫描仪18预先取得的筒状零件24的三维实物形状数据而在假想图像产生部16产生的筒状零件24的实物形状的假想图像。
作业者4一面观察在组装顺序信息产生部22中产生且显示在HMD3的显示部6的组装顺序信息，一面将筒状零件24组装至主体零件23。
相对于此，在以往的组装方法中，作业者4如图8所示，一面将显示在平板终端26等的作业顺序与主体零件23、筒状零件24交替地对比一面进行组装作业。因此，作业者4的身体上或精神上的负担变大。
另一方面，在本变形例的零件组装作业支持系统1中，如上所述，作业者4一面观察显示在HMD3的显示部6的组装顺序信息一面进行组装作业，所以能够以相同的视线确认作业指示与组装零件。由此，作业中的视线移动被抑制于最小限度，能够减轻作业者4的身体上、精神上的负担。
另外，由于能够使对于作业者4而言容易直观地理解的各种组装顺序信息显示在HMD3的显示部6，所以不仅实现作业者4的负担减轻，而且能够防止组装错误而提高作业的切实性。由此，不需要返工作业，从而能够大幅提高组装作业的效率。
[符号的说明]
1 零件组装作业支持系统
2 系统主体
3 头戴式显示器(HMD)
4 作业者
5、5R、5L HMD的摄像部
6、6R、6L HMD的显示部
7A 第一零件(另一零件)
7B 第二零件(一零件)
8 标记部件(位置姿势信息取得机构)
9 标记部件的框部件
10 标记部件的支撑部
11 标记
12 现实图像取得部
13 存储部
14 标记检测部(位置姿势信息取得机构)
15 摄像部位置姿势推断部(位置姿势信息取得机构)
16 假想图像产生部(假想图像产生机构)
17 图像合成部(图像合成机构)
18 三维扫描仪
19 第二零件的假想图像
20 第一零件的现实图像
21 位置方向测量装置
22 组装顺序信息产生部
23 主体零件
24 筒状零件
25 筒状零件的假想图像
26 平板终端

Claims (9)

1.一种零件组装作业支持系统，用来支持零件的组装作业，且包括：
摄像机构，用来在作业者的视点位置对作业者的视线方向上的作业空间与应组装一零件的另一零件一起拍摄；
位置姿势信息取得机构，用来取得表示所述作业者的视点与所述作业空间中的所述另一零件的相对性的位置姿势关系的位置姿势信息；
假想图像产生机构，用来基于所述位置姿势信息而产生所述作业者的所述视点位置及作业者的视线方向上的基于通过对所述一零件的实物形状进行测定的机构所获得的数据的假想图像；
图像合成机构，为了在组装所述一零件与所述另一零件之前，不需要将两个零件放在同一个场所即能够确认所述实物形状与理想形状之间有无误差而判断两零件之间的组装性的良否，使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间内的所述另一零件的现实图像而产生合成图像；及
显示机构，用来显示所述合成图像。
2.根据权利要求1所述的零件组装作业支持系统，其中所述假想图像产生机构基于通过三维扫描仪而获得的所述一零件的三维实物形状数据而产生所述假想图像。
3.根据权利要求1或2所述的零件组装作业支持系统，所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记暂定地设置在相对于所述另一零件上的基准点的特定的相对位置。
4.根据权利要求1或2所述的零件组装作业支持系统，其中所述位置姿势信息取得机构具有位置方向测量装置，该位置方向测量装置用来测量所述作业者的视点位置及作业者的视线方向、以及所述另一零件的位置。
5.根据权利要求1或2所述的零件组装作业支持系统，其还具备用来产生与所述零件组装作业支持系统中的零件的组装顺序相关的组装顺序信息的组装顺序信息产生部，在所述组装顺序信息产生部中产生的所述组装顺序信息被组入至通过所述图像合成机构产生的所述合成图像中。
6.一种零件组装方法，使用用来支持零件的组装作业的零件组装作业支持系统，且包括：
摄像步骤，在作业者的视点位置将作业者的视线方向上的作业空间与应组装一零件的另一零件一起拍摄；
位置姿势信息取得步骤，取得表示所述作业者的视点与所述作业空间中的所述另一零件的相对性的位置姿势关系的位置姿势信息；
假想图像产生步骤，基于所述位置姿势信息而产生所述作业者的所述视点位置及作业者的视线方向上的基于通过对所述一零件的实物形状进行测定的机构所获得的数据的假想图像；
图像合成步骤，为了在组装所述一零件与所述另一零件之前，不需要将两个零件放在同一个场所即能够确认所述实物形状与理想形状之间有无误差而判断两零件之间的组装性的良否，使所述假想图像重叠于在所述摄像步骤中拍摄的所述作业空间内的所述另一零件的现实图像而产生合成图像；及
显示步骤，显示所述合成图像。
7.根据权利要求6所述的零件组装方法，其中所述位置姿势信息取得步骤包含标记设置步骤，该标记设置步骤将复合现实感用标记暂定地设置在相对于所述另一零件上的基准点的特定的相对位置。
8.根据权利要求6或7所述的零件组装方法，其中为了判断所述一零件与所述另一零件的组装性的良否，而在所述显示步骤显示出的所述合成图像中，将基于通过对所述一零件的实物形状进行测定的机构所获得的数据的假想图像与所述另一零件的现实图像对接。
9.根据权利要求6或7所述的零件组装方法，其还具备产生与所述零件组装方法中的零件的组装顺序相关的组装顺序信息的组装顺序信息产生步骤，将在所述组装顺序信息产生步骤产生的所述组装顺序信息组入至在所述图像合成步骤产生的所述合成图像中。
CN201480028852.XA 2013-05-22 2014-04-23 零件组装作业支持系统及零件组装方法 Active CN105229705B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-107887 2013-05-22
JP2013107887A JP6344890B2 (ja) 2013-05-22 2013-05-22 部品組立作業支援システムおよび部品組立方法
PCT/JP2014/061405 WO2014188836A1 (ja) 2013-05-22 2014-04-23 部品組立作業支援システムおよび部品組立方法

Publications (2)

Publication Number Publication Date
CN105229705A CN105229705A (zh) 2016-01-06
CN105229705B true CN105229705B (zh) 2019-05-10

Family

ID=51933400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028852.XA Active CN105229705B (zh) 2013-05-22 2014-04-23 零件组装作业支持系统及零件组装方法

Country Status (5)

Country Link
US (1) US10229539B2 (zh)
JP (1) JP6344890B2 (zh)
KR (1) KR20150139610A (zh)
CN (1) CN105229705B (zh)
WO (1) WO2014188836A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP6424612B2 (ja) * 2014-12-19 2018-11-21 富士通株式会社 組立支援システム、及び、組立支援方法
GB2533573A (en) * 2014-12-22 2016-06-29 Nokia Technologies Oy Image processing method and device
EP3104241B1 (en) * 2015-06-12 2020-09-16 Accenture Global Services Limited An augmented reality method and system for measuring and/or manufacturing
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6643170B2 (ja) * 2016-04-11 2020-02-12 株式会社日立製作所 作業支援システム及び方法
JP6415495B2 (ja) 2016-08-09 2018-10-31 株式会社ミスミ 設計支援装置、設計支援システム、サーバ及び設計支援方法
CN106504629B (zh) * 2016-11-04 2019-05-24 快创科技（大连）有限公司 一种基于增强现实技术的汽车组装演示记忆系统
JP6470323B2 (ja) * 2017-01-23 2019-02-13 ファナック株式会社 情報表示システム
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP2019046067A (ja) * 2017-08-31 2019-03-22 株式会社イシダ 作業支援システム
US10699165B2 (en) 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
DE102017126457A1 (de) * 2017-11-10 2019-05-16 ARS Computer und Consulting GmbH Vorrichtung zur Unterstützung eines Benutzers an einem Arbeitsplatz, Verfahren und Computerprogrammprodukt
DE102018000733A1 (de) * 2018-01-29 2019-08-01 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Überwachungs- und Bediensystem für einen Fertigungsarbeitsplatz und Verfahren zur Unterstützung und Überwachung eines Werkers beim Prozess zum Montieren oder Fertigen eines Produkts oder Teilprodukts
CN109215133B (zh) * 2018-08-22 2020-07-07 成都新西旺自动化科技有限公司 一种用于视觉对位算法筛选的模拟图像库构建方法
CN111221297A (zh) * 2018-11-26 2020-06-02 株式会社斯巴鲁 部件加工装置
JP7414395B2 (ja) * 2018-12-18 2024-01-16 川崎重工業株式会社 情報投影システム、制御装置、及び情報投影制御方法
US11443495B2 (en) 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
CN109816049B (zh) * 2019-02-22 2020-09-18 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
JP2020149143A (ja) * 2019-03-11 2020-09-17 株式会社Ｎｔｔファシリティーズ 作業支援システム、作業支援方法、及びプログラム
JP2020149142A (ja) * 2019-03-11 2020-09-17 株式会社Ｎｔｔファシリティーズ 作業支援システム、作業支援方法、及びプログラム
JP7403273B2 (ja) * 2019-10-16 2023-12-22 東芝プラントシステム株式会社 画像処理装置、及び画像処理方法
EP4074474A4 (en) * 2019-12-13 2024-06-05 Kawasaki Jukogyo Kabushiki Kaisha ROBOT SYSTEM AND METHOD FOR PRODUCING A THREE-DIMENSIONAL MODEL OF A WORKPIECE
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality
CN115346413A (zh) * 2022-08-19 2022-11-15 南京邮电大学 一种基于虚实融合的装配指导方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101451827A (zh) * 2008-12-26 2009-06-10 广东工业大学 基于激光组合模块图的光学检测系统及其检测方法
CN105144249A (zh) * 2013-04-24 2015-12-09 川崎重工业株式会社 零件安装作业支持系统及零件安装方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006919A (ja) * 2000-06-20 2002-01-11 Nissan Motor Co Ltd 作業指示装置における位置検出方法および位置検出装置
JP2003303356A (ja) 2002-04-09 2003-10-24 Canon Inc 展示装置
JP4366165B2 (ja) 2003-09-30 2009-11-18 キヤノン株式会社 画像表示装置及び方法並びに記憶媒体
JP4537104B2 (ja) 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
KR100704831B1 (ko) * 2005-06-01 2007-04-09 주식회사 아이너스기술 3차원 스캐너를 이용한 실시간 검사 안내 시스템 및 방법
JP4909176B2 (ja) 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
JP4963094B2 (ja) * 2007-09-11 2012-06-27 独立行政法人産業技術総合研究所 作業支援装置
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
JP2012043396A (ja) * 2010-08-13 2012-03-01 Hyundai Motor Co Ltd 拡張現実を用いた車両消耗品管理システム及びその方法
JP5594088B2 (ja) * 2010-11-22 2014-09-24 トヨタ自動車株式会社 製造ラインの検討システム
JP2013074970A (ja) * 2011-09-30 2013-04-25 Brother Ind Ltd ミシン

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101451827A (zh) * 2008-12-26 2009-06-10 广东工业大学 基于激光组合模块图的光学检测系统及其检测方法
CN105144249A (zh) * 2013-04-24 2015-12-09 川崎重工业株式会社 零件安装作业支持系统及零件安装方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Authoring of a Mixed Reality Assembly Instructor for Hierarchical Structures;Jurgen Zauner等;《the Second IEEE and ACM International Symposium on Mixed and Augmented Reality》;20031231;第237-246页

Also Published As

Publication number Publication date
WO2014188836A1 (ja) 2014-11-27
CN105229705A (zh) 2016-01-06
US20160125654A1 (en) 2016-05-05
JP6344890B2 (ja) 2018-06-20
JP2014229057A (ja) 2014-12-08
US10229539B2 (en) 2019-03-12
KR20150139610A (ko) 2015-12-11

Similar Documents

Publication Publication Date Title
CN105229705B (zh) 零件组装作业支持系统及零件组装方法
CN105144249B (zh) 零件安装作业支持系统及零件安装方法
CN105190705B (zh) 工件加工作业支持系统及工件加工方法
US11763487B2 (en) Method for augmented reality display, method for determining pose information, and apparatuses
Pai et al. Augmented reality–based programming, planning and simulation of a robotic work cell
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
EP1708139A2 (en) Calibration method and apparatus
US20160364914A1 (en) Augmented reality lighting effects
Syed et al. In-depth review of augmented reality: Tracking technologies, development tools, AR displays, collaborative AR, and security concerns
CN105793764A (zh) 用于为头戴式显示设备提供扩展显示设备的设备、方法和系统
EP2830021A1 (en) Information processing device, position designation method
JP5656514B2 (ja) 情報処理装置及び方法
CN102708355A (zh) 信息处理装置、信息处理方法及程序
US20110074772A1 (en) Three-dimensional object processing device, three-dimensional object processing method, and information storage medium
JP2015056106A (ja) 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
US10943399B2 (en) Systems and methods of physics layer prioritization in virtual environments
CN104765156B (zh) 一种三维显示装置和三维显示方法
Cutolo et al. Perspective preserving solution for quasi-orthoscopic video see-through HMDs
JP7005224B2 (ja) 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
JP6295296B2 (ja) 複合システム及びターゲットマーカ
JP2005010998A (ja) 情報呈示装置及び情報呈示方法
US9348542B2 (en) Display processing apparatus, display processing method, and computer-readable recording medium
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
US10130334B2 (en) Presenting a graphical representation of an ultrasound scanning volume
BARON et al. APPLICATION OF AUGMENTED REALITY TOOLS TO THE DESIGN PREPARATION OF PRODUCTION.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant