CN105144249A - 零件安装作业支持系统及零件安装方法 - Google Patents

零件安装作业支持系统及零件安装方法 Download PDF

Info

Publication number
CN105144249A
CN105144249A CN201480023260.9A CN201480023260A CN105144249A CN 105144249 A CN105144249 A CN 105144249A CN 201480023260 A CN201480023260 A CN 201480023260A CN 105144249 A CN105144249 A CN 105144249A
Authority
CN
China
Prior art keywords
operator
workpiece
installation exercise
image
posture information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480023260.9A
Other languages
English (en)
Other versions
CN105144249B (zh
Inventor
志子田繁一
中村直弘
中野信一
赤松政彦
米本臣吾
渡海大辅
河本孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN105144249A publication Critical patent/CN105144249A/zh
Application granted granted Critical
Publication of CN105144249B publication Critical patent/CN105144249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Educational Technology (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本系统包括：摄像机构，在作业者的视点位置将作业者的视线方向的作业空间与应安装零件的工件一起拍摄；位置姿势信息取得机构，取得表示作业者的视点与作业空间中的工件的相对性的位置姿势关系的位置姿势信息；假想图像产生机构，基于位置姿势信息而产生表示视点位置及作业者的视线方向上的安装后的零件的三维的假想图像；图像合成机构，使假想图像重叠在作业空间的现实图像而产生合成图像；及显示机构，显示合成图像。根据本系统，能够利用复合现实感技术而使零件的安装作业的效率大幅提高。

Description

零件安装作业支持系统及零件安装方法
技术领域
本发明涉及一种用来利用复合现实感技术支持零件的安装作业的零件安装作业支持系统，尤其，涉及适合于零件的预焊作业的支持的零件安装作业支持系统及使用该系统的零件安装方法。
背景技术
以往，在将悬吊金属件等零件焊接在工件的情况下，如图7(a)所示，在工件40上的安装零件41的位置预先进行划线42，作业者将该划线42作为记号进行零件41的预焊(图7(b))。
然而，在安装零件的工件的尺寸较大，或者工件具有曲面的情况下等，存在有时划线作业本身难以进行，而划线作业花费较多的时间的情况。
另外，若在工件的成形前进行划线，则也存在因成形时的塑性变形而划线位置偏移的问题。
另外，将零件的安装位置划线来记载安装的零件的信息等，但有时作业者在预焊时弄错安装方向。其结果存在产生返工作业而作业效率降低的情况。
进而，在将零件安装在工件之后的检查中，也必须对照图式等确认安装状态，所以也存在难以直观地判断安装状态的良否的问题。
此外，近年来，将假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者的复合现实感(MR：MixedReality)技术，作为使现实世界与假想世界无缝地实时地融合的图像技术受到关注(专利文献1-4)。
[现有技术文献]
[专利文献]
专利文献1：日本专利特开2005-107968号公报
专利文献2：日本专利特开2005-293141号公报
专利文献3：日本专利特开2003-303356号公报
专利文献4：日本专利特开2008-293209号公报
发明内容
[发明要解决的问题]
因此，本发明的目的在于提供一种能够利用复合现实感技术解决零件向工件安装的作业中的所述问题，实现作业效率的大幅的提高的零件安装作业支持系统及使用该系统的零件安装方法。
[解决问题的技术手段]
为了解决所述问题，本发明的特征在于，其是一种零件安装作业支持系统，用来支持零件的安装作业，且包括：摄像机构，用来在作业者的视点位置对作业者的视线方向上的作业空间与应安装所述零件的工件一起拍摄；位置姿势信息取得机构，用来取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；假想图像产生机构，用来基于所述位置姿势信息而产生表示所述作业者的所述视点位置及作业者的视线方向上的安装后的所述零件的三维的假想图像；图像合成机构，用来使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及显示机构，用来显示所述合成图像。
另外，优选为，所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
另外，优选为，所述位置姿势信息取得机构具有位置方向测量装置，该位置方向测量装置用来测量所述作业者的视点位置及作业者的视线方向、以及所述工件的位置。
另外，优选为，所述假想图像是包含所述安装作业中的容许安装误差而产生。
另外，优选为，本发明的零件安装作业支持系统还包括误差判定部，该误差判定部用来在所述显示部显示安装后的所述零件的所述现实图像与所述假想图像的不一致部位。
为了解决所述问题，本发明是一种零件安装方法，使用用来支持零件的安装作业的零件安装作业支持系统，且包括：摄像步骤，在作业者的视点位置对作业者的视线方向上的作业空间与应安装所述零件的工件一起拍摄；位置姿势信息取得步骤，取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；假想图像产生步骤，基于所述位置姿势信息而产生表示所述作业者的所述视点位置及作业者的视线方向上的安装后的所述零件的三维的假想图像；图像合成步骤，使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及显示步骤，用来显示所述合成图像。
另外，优选为，所述位置姿势信息取得步骤包含标记设置步骤，该标记设置步骤将复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
另外，优选为，一面确认作为显示在所述合成图像的所述假想图像的所述零件与作为显示在所述合成图像的所述现实图像的所述零件的位置关系，一面将所述现实图像的所述零件与所述假想图像的所述零件位置对准。
[发明的效果]
根据本发明的零件安装作业支持系统及使用该系统的零件安装方法，通过利用复合现实感技术，而不需要以往的划线作业，或者使划线作业容易化，所以能够使零件安装的作业效率大幅提高。
附图说明
图1是表示本发明的一实施方式的零件安装作业支持系统的概略构成的框图。
图2是表示图1所示的零件安装作业支持系统的概略构成的示意图。
图3是将图1所示的零件安装作业支持系统的标记构件放大而表示的立体图。
图4是表示使用图1所示的零件安装作业支持系统将零件安装在工件的情况的示意图。
图5是表示图1所示的零件安装作业支持系统的一变形例的概略构成的框图。
图6是表示图1所示的零件安装作业支持系统的另一变形例的概略构成的示意图。
图7是用以说明以往的零件安装作业的示意图。
具体实施方式
以下，对本发明的一实施方式的零件安装作业支持系统进行说明。此外，成为本系统的支持的对象的零件安装作业典型而言为零件向工件的预焊作业，但除了零件的预焊作业以外，还可支持将零件安装在工件的各种安装作业。
本实施方式的工件加工作业支持系统使用复合现实感技术，所以首先对复合现实感技术进行概述。
如上所述般，所谓复合现实感技术是指使假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者，使现实世界与假想世界无缝地实时地融合的影像技术。
也就是说，该复合现实感技术将通过将现实空间图像与根据观察者的视点位置、视线方向而产生的假想空间图像合成所得的合成图像提供给观察者。而且，能够使观察者以实际尺寸感知假想物体的比例，感知假想物体真正存在于现实世界。
根据该复合现实感技术，并非利用鼠标或键盘来操作计算机图形(CG)，而观察者能够实际移动并从任意的位置或角度观察。也就是说，能够利用图像位置对准技术将CG放置在指定的场所，使用例如透明型的头戴式显示器(HMD：HeadMountDisplay)，从各种角度观察该CG。
为了表现复合现实感空间(MR空间)，必须取得在现实空间中定义的基准坐标系，即成为决定想要重叠在现实空间的假想物体的位置姿势的基准的现实空间中的坐标系与摄像部的坐标系(照相机坐标系)之间的相对性的位置姿势关系。
作为用于此的适当的图像位置对准技术，例如，可列举利用磁传感器、光学式传感器、或超音波传感器的技术，或利用标记、陀螺仪的技术等。
此处，所谓标记(也称为“地标”)，是指用于图像的位置对准而使用的指标，且是能够通过利用安装在HMD的照相机(摄像装置)拍摄配置在现实空间内的标记，而利用图像处理来推断照相机的位置姿势。
也就是说，在现实空间中的已知的三维坐标配置具有特定的视觉特征的标记，检测现实图像中所包含的标记，根据已经检测出的标记的构成要素(标记的中心或顶点等)的二维图像位置与已知的三维坐标而计算出照相机(摄像装置)的位置姿势。
本实施方式的零件安装作业支持系统利用所述复合现实感技术，以下参照图1及图2对本系统的构成进行说明。
如图1及图2所示，本实施方式的零件安装作业支持系统1包括系统主体2、在与该系统主体2之间进行数据通讯的头戴式显示器(HMD)3、及标记构件8。
零件安装作业支持系统1的系统主体2由包括CPU(CentralProcessingUnit，中央处理器)、RAM(RandomAccessMemory，随机存取存储器)、ROM(ReadOnlyMemory，只读存储器)、外部存储装置、存储媒体驱动装置、显示装置、输入元件等的计算机而构成。
如图2所示，HMD3安装在作业者4的头部，包括摄像部5及显示部6。摄像部5及显示部6分别设置有2个，摄像部5R及显示部6R为右眼用，摄像部5L及显示部6L为左眼用。根据该构成，能够对将HMD3安装在头部的作业者4的右眼与左眼提示视差图像，并能够三维显示MR图像(合成图像)。
HMD3的摄像部5对在标记设置步骤中暂定地设置在工件7上的MR用标记构件8与作为零件的安装对象的工件7一起拍摄(摄像步骤)。标记构件8设置在相对于工件7上的基准点的特定的相对位置。此外，在图2中，利用虚线表示零件的假想图像30V。
如图3所示，本实施方式的标记构件8包括：三角形的框部9；各支撑部10，设置在三角形的框构件9的各顶点的下表面；及各复合现实感用标记11，设置在三角形的框构件9的各顶点的上表面。
如图1所示，通过HMD3的摄像部5取得的现实空间的现实图像被输入至系统主体2的现实图像取得部12。该现实图像取得部12将所输入的现实图像的数据输出至系统主体2的存储部13。
存储部13保持用于MR图像(合成图像)的提示处理所需要的信息，根据处理而进行信息的读出或更新。
另外，系统主体2具备标记检测部14，该标记检测部14用来从存储部13保持的现实图像中检测设置在标记构件8的标记11。
而且，配置在作为现实物体的工件7上的标记构件8的标记11的检测结果从标记检测部14经由存储部13被发送至摄像部位置姿势推断部15。该摄像部位置姿势推断部15基于标记11的检测结果，而推断将工件7本身的物体坐标系作为基准坐标系的HMD3的摄像部5的位置姿势(位置姿势信息取得步骤)。
此处，标记构件8、标记检测部14、及摄像部位置姿势推断部15构成工件加工作业支持系统1中的位置姿势信息取得机构。
通过摄像部位置姿势推断部15推断的HMD3的摄像部5的位置姿势被发送至假想图像产生部16。假想图像产生部16基于从摄像部位置姿势推断部15发送的摄像部5的位置姿势，即作业者4的视点位置及作业者的视线方向，而产生从摄像部5的位置姿势观察的假想物体的三维的假想图像30V(假想图像产生步骤)。
此处，在零件安装作业支持系统1中，在该假想图像产生部16中，产生通过特定的预焊作业安装在工件7之后的零件的假想图像30V。将该安装后的零件的假想图像30V使厚度具有容许安装误差而显示。
在假想图像产生部16产生的安装后的零件的假想图像30V被发送至系统主体2的图像合成部17。图像合成部17使从假想图像产生部16发送的假想图像30V重叠在存储部13保持的零件安装前的工件7的现实图像，而产生MR图像(合成图像)(图像合成步骤)。
利用图像合成部17产生的MR图像(合成图像)被输出至HMD3的显示部6(显示步骤)。由此，在HMD3的显示部6显示与HMD3的摄像部5的位置姿势对应的现实空间的图像与假想空间的图像重叠的MR图像，从而能够使将该HMD3安装在头部的作业者4体验复合现实空间。
而且，作业者4一面如图4(a)所示确认作为显示在MR图像的假想图像30V的零件与同样地显示在MR图像的现实的零件的现实图像30R的位置关系，一面如图4(b)所示将现实图像30R的零件与假想图像30V的零件位置对准。
在该状态下，作业者如图4(c)所示，将零件30预焊在工件7。由此，不需要事前的划线作业即可将特定的零件30在特定的位置安装在特定的方向。
如上所述，根据本实施方式的零件安装作业支持系统1，通过将现实图像30R的零件与假想图像30V的零件位置对准，能够容易地进行零件30的位置对准，从而可大幅提高零件30的安装作业的效率。
另外，作业者4能够在安装作业之前观察安装后的零件30的假想图像30V，所以能够无误地选择应安装的零件30，并且也不会弄错零件30的安装方向。由此，不需要返工作业，能够大幅提高零件30的安装作业的效率。
此外，本实施方式的零件安装作业支持系统1也可如上所述支持安装作业本身，但也可用于零件安装后的状态确认。
也就是说，在将零件30安装在工件7之后，通过HMD3对工件7进行拍摄，由此能够观察安装在工件7的实际的零件30的现实图像30R与作为假想图像30V的零件的合成图像。
因此，作业者(于该情况下为检查者)4不进行与图式的对照作业，而视觉观察现实图像30R与假想图像30V之间的零件的偏移，由此能够以模拟性的目视检查直观地判断零件30的安装状态的良否。由此，能够大幅缩短零件30的安装状态的检查时间。
另外，本实施方式的零件安装作业支持系统1也可支持对于工件7的划线作业。也就是说，通过HMD3对工件7进行拍摄，由此能够使安装在工件7的状态的零件30的假想图像30V重叠在工件7的现实图像而观察。因此，作业者4结合显示在HMD3的显示部6的零件30的假想图像30V而进行划线作业。由此，即便在工件7的尺寸较大的情况下，或工件7具有曲面的情况下，也能够容易地进行划线作业。
其次，参照图5对所述实施方式的一变形例进行说明。
如图5所示，本变形例的零件安装作业支持系统还具备误差判定部20，该误差判定部20用来利用图案匹配而检测安装后的零件30的现实图像30R与安装后的零件30的假想图像30V的不一致部位，并将表示该不一致的程度的信息一起显示在HMD3的显示部6。
此外，在所述实施方式及实施方式的变形例中，由标记构件8、标记检测部14、及摄像部位置姿势推断部15而构成零件安装作业支持系统1中的位置姿势信息取得机构，但也可代替此，或与此组合，如图6所示，设置用来测量作业者4的视点位置及作业者的视线方向、以及工件7的位置的位置方向测量装置22。作为此种位置方向测量装置22，例如，能够使用超音波传感器或磁式、光学式位置测量传感器。
另外，复合现实感用标记11也可为在零件30的预焊作业之前预先贴附在工件7的类型。
另外，也可代替如上所述的另行准备的复合现实感用标记11，而将工件7本身的一部分(例如，作为几何学上特征点的角部)用作位置对准用的基准点(一种标记)。
[符号的说明]
1零件安装作业支持系统
2系统主体
3头戴式显示器(HMD)
4作业者
5、5R、5LHMD的摄像部
6、6R、6LHMD的显示部
7工件
8标记构件
9标记构件的框构件
10标记构件的支撑部
11标记
12现实图像取得部
13存储部
14标记检测部
15摄像部位置姿势推断部
16假想图像产生部
17图像合成部
18保持构件
20误差判定部
22位置方向测量装置
30零件
30R零件的现实图像
30V零件的假想图像

Claims (8)

1.一种零件安装作业支持系统，用来支持零件的安装作业，且包括：
摄像机构，用来在作业者的视点位置对作业者的视线方向上的作业空间与应安装所述零件的工件一起拍摄；
位置姿势信息取得机构，用来取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；
假想图像产生机构，用来基于所述位置姿势信息而产生表示所述作业者的所述视点位置及作业者的视线方向上的安装后的所述零件的三维的假想图像；
图像合成机构，用来使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及
显示机构，用来显示所述合成图像。
2.根据权利要求1所述的零件安装作业支持系统，其中所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
3.根据权利要求1或2所述的零件安装作业支持系统，其中所述位置姿势信息取得机构具有位置方向测量装置，该位置方向测量装置用来测量所述作业者的视点位置及作业者的视线方向、以及所述工件的位置。
4.根据权利要求1至3中任一项所述的零件安装作业支持系统，其中所述假想图像是包含所述安装作业中的容许安装误差而产生。
5.根据权利要求1至4中任一项所述的零件安装作业支持系统，其还包括误差判定部，该误差判定部用来在所述显示部显示安装后的所述零件的所述现实图像与所述假想图像的不一致部位。
6.一种零件安装方法，使用用来支持零件的安装作业的零件安装作业支持系统，且包括：
摄像步骤，在作业者的视点位置对作业者的视线方向上的作业空间与应安装所述零件的工件一起拍摄；
位置姿势信息取得步骤，取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；
假想图像产生步骤，基于所述位置姿势信息而产生表示所述作业者的所述视点位置及作业者的视线方向上的安装后的所述零件的三维的假想图像；
图像合成步骤，使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及
显示步骤，用来显示所述合成图像。
7.根据权利要求6所述的零件安装方法，其中所述位置姿势信息取得步骤包含标记设置步骤，该标记设置步骤将复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
8.根据权利要求6或7所述的零件安装方法，其中一面确认作为显示在所述合成图像的所述假想图像的所述零件与作为显示在所述合成图像的所述现实图像的所述零件的位置关系，一面将所述现实图像的所述零件与所述假想图像的所述零件位置对准。
CN201480023260.9A 2013-04-24 2014-04-23 零件安装作业支持系统及零件安装方法 Active CN105144249B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013091419A JP6138566B2 (ja) 2013-04-24 2013-04-24 部品取付作業支援システムおよび部品取付方法
JP2013-091419 2013-04-24
PCT/JP2014/061403 WO2014175323A1 (ja) 2013-04-24 2014-04-23 部品取付作業支援システムおよび部品取付方法

Publications (2)

Publication Number Publication Date
CN105144249A true CN105144249A (zh) 2015-12-09
CN105144249B CN105144249B (zh) 2019-07-12

Family

ID=51791893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023260.9A Active CN105144249B (zh) 2013-04-24 2014-04-23 零件安装作业支持系统及零件安装方法

Country Status (5)

Country Link
US (1) US20160078682A1 (zh)
JP (1) JP6138566B2 (zh)
KR (2) KR20150139609A (zh)
CN (1) CN105144249B (zh)
WO (1) WO2014175323A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229705A (zh) * 2013-05-22 2016-01-06 川崎重工业株式会社 零件组装作业支持系统及零件组装方法
CN108604131A (zh) * 2016-03-04 2018-09-28 新日铁住金系统集成株式会社 显示系统、信息处理装置、信息处理方法以及程序
CN111435397A (zh) * 2019-01-10 2020-07-21 本田技研工业株式会社 产品评价结果显示系统
CN115066313A (zh) * 2020-02-14 2022-09-16 山崎马扎克公司 用于加工装置的工件的安装方法、工件安装支援系统及工件安装支援程序

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10410419B2 (en) * 2015-03-02 2019-09-10 Virtek Vision International Ulc Laser projection system with video overlay
GB2540351A (en) * 2015-07-10 2017-01-18 Jetcam Int S A R L Transfer of fabric shapes from a nest to stacks of fabric shapes, and to moulds
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2017181374A (ja) * 2016-03-31 2017-10-05 三井住友建設株式会社 表面高さ表示方法
JP6617291B2 (ja) * 2016-10-25 2019-12-11 パナソニックＩｐマネジメント株式会社 部品実装システムおよび段取り作業の進捗表示システム
JP6833460B2 (ja) * 2016-11-08 2021-02-24 株式会社東芝 作業支援システム、作業方法、および処理装置
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP6438995B2 (ja) * 2017-03-24 2018-12-19 株式会社インフォマティクス 図面投影システム、図面投影方法及びプログラム
JP6803794B2 (ja) * 2017-04-12 2020-12-23 株式会社Ｅｃａｄソリューションズ 画像処理装置及び製造システム
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
DE102017130913A1 (de) * 2017-12-21 2019-06-27 Rehau Ag + Co Verfahren zum Aufbau eines Rohrsystems unter Erzeugung mindestens einer Rohrverbindung
WO2020049999A1 (ja) * 2018-09-03 2020-03-12 三菱自動車工業株式会社 製造支援システム，方法，プログラム
CN113784822B (zh) * 2018-10-10 2023-09-26 株式会社日立制作所 基于增强现实的机械紧固部的管理方法
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
EP3779893A4 (en) * 2019-04-25 2021-08-04 Ntt Docomo, Inc. IMAGE PROCESSING SYSTEM WITH DISPLAY OF THE HOLDING ARRANGEMENT
JP7336253B2 (ja) * 2019-04-26 2023-08-31 三菱重工業株式会社 据付物の施工方法
KR102657877B1 (ko) * 2019-05-30 2024-04-17 삼성전자주식회사 증강 현실의 가상 객체 데이터 획득 방법 및 그에 관한 장치
JP7435330B2 (ja) 2020-07-14 2024-02-21 株式会社島津製作所 ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040021664A1 (en) * 2002-07-31 2004-02-05 Canon Kabushiki Kaisha Information processing device and method
US7538782B2 (en) * 2003-10-01 2009-05-26 Canon Kabushiki Kaisha Image processing apparatus and method, and calibration device for position and orientation sensor
CN101920233A (zh) * 2010-07-09 2010-12-22 广东工业大学 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display

Family Cites Families (225)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588139A (en) * 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
EP0623066B1 (en) * 1992-01-21 1997-07-09 Sri International Teleoperator system and method with telepresence
US6788999B2 (en) * 1992-01-21 2004-09-07 Sri International, Inc. Surgical system
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US6731988B1 (en) * 1992-01-21 2004-05-04 Sri International System and method for remote endoscopic surgery
US5394202A (en) * 1993-01-14 1995-02-28 Sun Microsystems, Inc. Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
EP0646263B1 (en) * 1993-04-20 2000-05-31 General Electric Company Computer graphic and live video system for enhancing visualisation of body structures during surgery
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US8228305B2 (en) * 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
JP3653196B2 (ja) * 1998-06-30 2005-05-25 飛島建設株式会社 仮想現実感を利用した施工支援情報システム。
US6629065B1 (en) * 1998-09-30 2003-09-30 Wisconsin Alumni Research Foundation Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments
EP1157315B1 (de) * 1999-03-02 2004-09-22 Siemens Aktiengesellschaft Augmented-reality-system mit einsatz mobiler geräte
JP2001126085A (ja) * 1999-08-16 2001-05-11 Mitsubishi Electric Corp 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法
JP2001195115A (ja) * 2000-01-06 2001-07-19 Canon Inc 工数自動設定システム、工数自動設定方法、分散型クライアントサーバシステム及びコンピュータプログラムの記憶媒体
US6701174B1 (en) * 2000-04-07 2004-03-02 Carnegie Mellon University Computer-aided bone distraction
JP2002006919A (ja) * 2000-06-20 2002-01-11 Nissan Motor Co Ltd 作業指示装置における位置検出方法および位置検出装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP3805231B2 (ja) * 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
JP2003144454A (ja) * 2001-11-16 2003-05-20 Yoshio Koga 関節手術支援情報算出方法、関節手術支援情報算出プログラム、及び関節手術支援情報算出システム
US20030163917A1 (en) * 2002-03-04 2003-09-04 Davidshofer Patrick J. Wire harness guided assembly and method for use thereof
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
JP3894150B2 (ja) * 2002-04-17 2007-03-14 セイコーエプソン株式会社 表示制御装置
JP3735086B2 (ja) * 2002-06-20 2006-01-11 ウエストユニティス株式会社 作業誘導システム
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2004213355A (ja) * 2002-12-27 2004-07-29 Canon Inc 情報処理方法
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
JP4502361B2 (ja) * 2003-09-30 2010-07-14 キヤノン株式会社 指標姿勢検出方法および装置
US7676079B2 (en) * 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP3991020B2 (ja) * 2003-09-30 2007-10-17 キヤノン株式会社 画像表示方法及び画像表示システム
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US20050281465A1 (en) * 2004-02-04 2005-12-22 Joel Marquart Method and apparatus for computer assistance with total hip replacement procedure
US20050215879A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging, S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP2005339377A (ja) * 2004-05-28 2005-12-08 Canon Inc 画像処理方法、画像処理装置
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US7221489B2 (en) * 2004-08-23 2007-05-22 Cross Match Technologies, Inc Live print scanner with holographic platen
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
CA2482240A1 (en) * 2004-09-27 2006-03-27 Claude Choquet Body motion training and qualification system and method
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US7868904B2 (en) * 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP4726194B2 (ja) * 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
WO2006111965A2 (en) * 2005-04-20 2006-10-26 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP4914123B2 (ja) * 2005-07-15 2012-04-11 キヤノン株式会社 画像処理装置及び方法
WO2007111749A2 (en) * 2005-12-20 2007-10-04 Intuitive Surgical, Inc. Method for handling an operator command exceeding a medical device state limitation in a medical robotic system
US7453227B2 (en) * 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US8165659B2 (en) * 2006-03-22 2012-04-24 Garrett Sheffer Modeling method and apparatus for use in surgical navigation
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP4810295B2 (ja) * 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
CA2651784C (en) * 2006-05-19 2015-01-27 Mako Surgical Corp. Method and apparatus for controlling a haptic device
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US7920124B2 (en) * 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US20080123910A1 (en) * 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
WO2008066856A2 (en) * 2006-11-27 2008-06-05 Northeastern University Patient specific ankle-foot orthotic device
JP2008165488A (ja) * 2006-12-28 2008-07-17 Fujitsu Ltd 組立操作性評価装置、方法及びプログラム
US8060186B2 (en) * 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
US20080243142A1 (en) * 2007-02-20 2008-10-02 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
US7782319B2 (en) * 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US9043707B2 (en) * 2007-03-28 2015-05-26 Autodesk, Inc. Configurable viewcube controller
US8849373B2 (en) * 2007-05-11 2014-09-30 Stanford University Method and apparatus for real-time 3D target position estimation by combining single x-ray imaging and external respiratory signals
DE102008025151A1 (de) * 2007-05-24 2008-12-18 Surgiceye Gmbh Bilderzeugungsapparat und -methode zur Nuklearbildgebung
JP5113426B2 (ja) * 2007-05-29 2013-01-09 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US20080297535A1 (en) * 2007-05-30 2008-12-04 Touch Of Life Technologies Terminal device for presenting an improved virtual environment to a user
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
JP4963094B2 (ja) * 2007-09-11 2012-06-27 独立行政法人産業技術総合研究所 作業支援装置
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
WO2009146359A1 (en) * 2008-05-28 2009-12-03 Illinois Tool Works Inc. Welding training system
AT507021B1 (de) * 2008-07-04 2010-04-15 Fronius Int Gmbh Vorrichtung zur simulation eines schweissprozesses
US9330575B2 (en) * 2008-08-21 2016-05-03 Lincoln Global, Inc. Tablet-based welding simulator
US8237784B2 (en) * 2008-11-10 2012-08-07 Medison Co., Ltd. Method of forming virtual endoscope image of uterus
US8611985B2 (en) * 2009-01-29 2013-12-17 Imactis Method and device for navigation of a surgical tool
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
JP5414380B2 (ja) * 2009-06-23 2014-02-12 キヤノン株式会社 画像処理方法及び画像処理装置
US10026016B2 (en) * 2009-06-26 2018-07-17 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2011058584A1 (en) * 2009-11-10 2011-05-19 Selex Sistemi Integrati S.P.A. Avatar-based virtual collaborative assistance
US20110190774A1 (en) * 2009-11-18 2011-08-04 Julian Nikolchev Methods and apparatus for performing an arthroscopic procedure using surgical navigation
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8842893B2 (en) * 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US8520027B2 (en) * 2010-05-14 2013-08-27 Intuitive Surgical Operations, Inc. Method and system of see-through console overlay
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5514637B2 (ja) * 2010-06-11 2014-06-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5643549B2 (ja) * 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
US9035944B2 (en) * 2010-08-06 2015-05-19 Intergraph Corporation 3-D model view manipulation apparatus
JP5769392B2 (ja) * 2010-08-26 2015-08-26 キヤノン株式会社 情報処理装置およびその方法
JP5709440B2 (ja) * 2010-08-31 2015-04-30 キヤノン株式会社 情報処理装置、情報処理方法
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
WO2012056034A1 (de) * 2010-10-28 2012-05-03 Fiagon Gmbh Navigationsaufsatz für optische geräte in der medizin und verfahren
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
JP2012243147A (ja) * 2011-05-20 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2012252091A (ja) * 2011-06-01 2012-12-20 Sony Corp 表示装置
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US9498231B2 (en) * 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9084565B2 (en) * 2011-07-29 2015-07-21 Wisconsin Alumni Research Foundation Hand-function therapy system with sensory isolation
US9123155B2 (en) * 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US9554866B2 (en) * 2011-08-09 2017-01-31 Covidien Lp Apparatus and method for using a remote control system in surgical procedures
US9101994B2 (en) * 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
JP6251681B2 (ja) * 2011-10-26 2017-12-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管ツリー画像の内視鏡的位置合わせ
AU2011253973B2 (en) * 2011-12-12 2015-03-12 Canon Kabushiki Kaisha Keyframe selection for parallel tracking and mapping
JP5832666B2 (ja) * 2011-12-20 2015-12-16 インテル・コーポレーション 複数のデバイスにまたがる拡張現実表現
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US9573215B2 (en) * 2012-02-10 2017-02-21 Illinois Tool Works Inc. Sound-based weld travel speed sensing system and method
US9539112B2 (en) * 2012-03-28 2017-01-10 Robert L. Thornberry Computer-guided system for orienting a prosthetic acetabular cup in the acetabulum during total hip replacement surgery
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US8989843B2 (en) * 2012-06-05 2015-03-24 DePuy Synthes Products, LLC Methods and apparatus for estimating the position and orientation of an implant using a mobile device
US9152226B2 (en) * 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
US9368045B2 (en) * 2012-11-09 2016-06-14 Illinois Tool Works Inc. System and device for welding training
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US9076257B2 (en) * 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
WO2014113455A1 (en) * 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
WO2014119098A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
WO2014119097A1 (ja) * 2013-02-01 2014-08-07 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US20140240349A1 (en) * 2013-02-22 2014-08-28 Nokia Corporation Method and apparatus for presenting task-related objects in an augmented reality display
US20140247281A1 (en) * 2013-03-03 2014-09-04 Geovector Corp. Dynamic Augmented Reality Vision Systems
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
BR112015025869A2 (pt) * 2013-04-16 2017-07-25 Sony Corp aparelhos de processamento de informação e de exibição, métodos para processamento de informação e para exibição, e, sistema de processamento de informação
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
WO2014175324A1 (ja) * 2013-04-24 2014-10-30 川崎重工業株式会社 ワーク加工作業支援システムおよびワーク加工方法
KR20140129702A (ko) * 2013-04-30 2014-11-07 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
WO2014199231A2 (en) * 2013-05-24 2014-12-18 Looking Glass Hk Ltd. Method for manufacturing a physical volumetric representation of a virtual three-dimensional object
CA2913218C (en) * 2013-05-24 2022-09-27 Awe Company Limited Systems and methods for a shared mixed reality experience
WO2014200017A1 (ja) * 2013-06-11 2014-12-18 Tanji Atsushi 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP5845211B2 (ja) * 2013-06-24 2016-01-20 キヤノン株式会社 画像処理装置、画像処理方法
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
WO2015006334A1 (en) * 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
KR20150010432A (ko) * 2013-07-19 2015-01-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10349031B2 (en) * 2013-07-28 2019-07-09 Michael J. DeLuca Augmented reality based user interfacing
JP6225546B2 (ja) * 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
JP6314394B2 (ja) * 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP6264834B2 (ja) * 2013-10-24 2018-01-24 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
KR101354133B1 (ko) * 2013-12-12 2014-02-05 한라아이엠에스 주식회사 증강현실을 이용한 원격관리형 선박평형수 처리장치
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
JP6144364B2 (ja) * 2014-01-17 2017-06-07 株式会社日立製作所 作業支援用データ作成プログラム
WO2015111283A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 画像表示装置及び画像表示方法
CN106104361B (zh) * 2014-02-18 2019-06-07 摩致实验室有限公司 与移动计算装置一起使用的头戴式显示器眼罩
US10152796B2 (en) * 2014-02-24 2018-12-11 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9723300B2 (en) * 2014-03-17 2017-08-01 Spatial Intelligence Llc Stereoscopic display
KR101570857B1 (ko) * 2014-04-29 2015-11-24 큐렉소 주식회사 로봇 수술 계획 조정 장치
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
HK1201682A2 (zh) * 2014-07-11 2015-09-04 Idvision Ltd 增强現實圖像之系統
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US9861882B2 (en) * 2014-09-05 2018-01-09 Trigger Global Inc. Augmented reality gaming systems and methods
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10303435B2 (en) * 2015-01-15 2019-05-28 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
JP6336929B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336930B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
WO2016144741A1 (en) * 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
US9972133B2 (en) * 2015-04-24 2018-05-15 Jpw Industries Inc. Wearable display for use with tool
US9883110B2 (en) * 2015-05-09 2018-01-30 CNZ, Inc. Toggling between augmented reality view and rendered view modes to provide an enriched user experience
US9589390B2 (en) * 2015-05-13 2017-03-07 The Boeing Company Wire harness assembly
US9892506B2 (en) * 2015-05-28 2018-02-13 The Florida International University Board Of Trustees Systems and methods for shape analysis using landmark-driven quasiconformal mapping
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
KR20170020998A (ko) * 2015-08-17 2017-02-27 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR20170029320A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10092361B2 (en) * 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
US9600938B1 (en) * 2015-11-24 2017-03-21 Eon Reality, Inc. 3D augmented reality with comfortable 3D viewing
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6765823B2 (ja) * 2016-02-23 2020-10-07 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US10327624B2 (en) * 2016-03-11 2019-06-25 Sony Corporation System and method for image processing to generate three-dimensional (3D) view of an anatomical portion
CA3017983A1 (en) * 2016-03-14 2017-09-21 Mohamed R. Mahfouz Ultra-wideband positioning for wireless ultrasound tracking and communication
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10194990B2 (en) * 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
KR20170129509A (ko) * 2016-05-17 2017-11-27 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US10788682B2 (en) * 2016-06-27 2020-09-29 Virtual Marketing Incorporated Mobile hologram apparatus
US10019839B2 (en) * 2016-06-30 2018-07-10 Microsoft Technology Licensing, Llc Three-dimensional object scanning feedback
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
KR102526083B1 (ko) * 2016-08-30 2023-04-27 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
CN110248618B (zh) * 2016-09-09 2024-01-09 莫比乌斯成像公司 用于在计算机辅助手术中显示患者数据的方法及系统
KR102369905B1 (ko) * 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
CA3055941C (en) * 2017-03-13 2023-06-20 Zimmer, Inc. Augmented reality diagnosis guidance
EP3385912B1 (en) * 2017-04-06 2022-08-24 Hexagon Technology Center GmbH Near field manoeuvring for ar-devices using image tracking
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
JP2019016044A (ja) * 2017-07-04 2019-01-31 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
EP3445048A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
ES2945711T3 (es) * 2017-08-15 2023-07-06 Holo Surgical Inc Sistema de navegación quirúrgica para proporcionar una imagen de realidad aumentada durante la operación
US11357576B2 (en) * 2018-07-05 2022-06-14 Dentsply Sirona Inc. Method and system for augmented reality guided surgery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040021664A1 (en) * 2002-07-31 2004-02-05 Canon Kabushiki Kaisha Information processing device and method
US7538782B2 (en) * 2003-10-01 2009-05-26 Canon Kabushiki Kaisha Image processing apparatus and method, and calibration device for position and orientation sensor
CN101920233A (zh) * 2010-07-09 2010-12-22 广东工业大学 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229705A (zh) * 2013-05-22 2016-01-06 川崎重工业株式会社 零件组装作业支持系统及零件组装方法
CN105229705B (zh) * 2013-05-22 2019-05-10 川崎重工业株式会社 零件组装作业支持系统及零件组装方法
CN108604131A (zh) * 2016-03-04 2018-09-28 新日铁住金系统集成株式会社 显示系统、信息处理装置、信息处理方法以及程序
CN111435397A (zh) * 2019-01-10 2020-07-21 本田技研工业株式会社 产品评价结果显示系统
CN111435397B (zh) * 2019-01-10 2024-03-01 本田技研工业株式会社 产品评价结果显示系统
CN115066313A (zh) * 2020-02-14 2022-09-16 山崎马扎克公司 用于加工装置的工件的安装方法、工件安装支援系统及工件安装支援程序

Also Published As

Publication number Publication date
CN105144249B (zh) 2019-07-12
JP2014215748A (ja) 2014-11-17
WO2014175323A1 (ja) 2014-10-30
JP6138566B2 (ja) 2017-05-31
KR20170095400A (ko) 2017-08-22
KR20150139609A (ko) 2015-12-11
US20160078682A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
CN105144249A (zh) 零件安装作业支持系统及零件安装方法
KR101800949B1 (ko) 워크 가공 작업 지원 시스템 및 워크 가공 방법
US10229539B2 (en) Component assembly work support system and component assembly method
JP5378374B2 (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
CA2553477C (en) Transprojection of geometry data
JP5390813B2 (ja) 空間情報表示装置及び支援装置
CN103781426A (zh) 超声波诊断装置以及超声波图像显示方法
JP2009053147A (ja) ３次元計測方法および３次元計測装置
JP2007233971A (ja) 画像合成方法及び装置
CN111033573A (zh) 信息处理装置、系统、图像处理方法、计算机程序及存储介质
JP5365010B2 (ja) Ｘ線透視による３次元観測方法およびｘ線透視装置
JP6295296B2 (ja) 複合システム及びターゲットマーカ
JP6364389B2 (ja) 検査方法及び検査システム
CN111854661A (zh) 可视化设备和存储介质
JP7036559B2 (ja) 杭位置検査装置及び杭位置検査方法
CN114465910B (zh) 一种基于增强现实技术的机械加工设备校准方法
JP2020184318A (ja) 可視化装置及びプログラム
JP2006051550A (ja) 移動体への位置教示装置および位置教示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant