JP2014215748A - 部品取付作業支援システムおよび部品取付方法 - Google Patents

部品取付作業支援システムおよび部品取付方法 Download PDF

Info

Publication number
JP2014215748A
JP2014215748A JP2013091419A JP2013091419A JP2014215748A JP 2014215748 A JP2014215748 A JP 2014215748A JP 2013091419 A JP2013091419 A JP 2013091419A JP 2013091419 A JP2013091419 A JP 2013091419A JP 2014215748 A JP2014215748 A JP 2014215748A
Authority
JP
Japan
Prior art keywords
image
component
work
virtual image
attachment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013091419A
Other languages
English (en)
Other versions
JP6138566B2 (ja
Inventor
子 田 繁 一 志
Shigekazu Shikota
子 田 繁 一 志
村 直 弘 中
Naohiro Nakamura
村 直 弘 中
野 信 一 中
Sinichi Nakano
野 信 一 中
松 政 彦 赤
Masahiko Akamatsu
松 政 彦 赤
本 臣 吾 米
Shingo Yonemoto
本 臣 吾 米
本 孝 河
Takashi Kawamoto
本 孝 河
海 大 輔 渡
Daisuke TOKAI
海 大 輔 渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP2013091419A priority Critical patent/JP6138566B2/ja
Priority to CN201480023260.9A priority patent/CN105144249B/zh
Priority to US14/787,198 priority patent/US20160078682A1/en
Priority to KR1020177022210A priority patent/KR20170095400A/ko
Priority to KR1020157031986A priority patent/KR20150139609A/ko
Priority to PCT/JP2014/061403 priority patent/WO2014175323A1/ja
Publication of JP2014215748A publication Critical patent/JP2014215748A/ja
Application granted granted Critical
Publication of JP6138566B2 publication Critical patent/JP6138566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

【課題】複合現実感技術を利用して、部品の取付作業の効率を大幅に向上させること。
【解決手段】本システムは、作業者の視点位置でその視線方向の作業空間を部品を取り付けるべきワークと共に撮像する撮像手段と、作業者の視点および作業空間中のワークの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段と、位置姿勢情報に基づいて、視点位置およびその視線方向における取付後の部品を示す三次元の仮想画像を生成する仮想画像生成手段と、作業空間の現実画像に仮想画像を重畳させて合成画像を生成する画像合成手段と、合成画像を表示する表示手段と、を備える。
【選択図】図１

Description

本発明は、複合現実感技術を用いて部品の取付作業を支援するための部品取付作業支援システムに係わり、特に、部品の仮付け溶接作業の支援に適した部品取付作業支援システムおよび同システムを用いた部品取付方法に関する。
従来、ワークに吊り金具などの部品を溶接する場合、図７（ａ）に示したように、ワーク４０上の部品４１を取り付ける位置に予め罫書き４２を行い、作業者は、この罫書き４２を目印として部品４１の仮付け溶接を行っていた（図７（ｂ））。
ところが、部品を取り付けるワークの寸法が大きかったり、或いはワークが曲面を持っている場合など、罫書き作業自体がやりにくいことがあり、罫書き作業に大きな時間を取られてしまう場合があった。
また、ワークの成形前に罫書きを行ってしまうと、成形時の塑性変形によって罫書き位置がずれてしまうという問題もあった。
また、部品の取付位置を罫書き、取り付ける部品の情報などを記載するが、作業者が仮付け溶接時に取り付ける向きを間違えてしまうことがある。その結果、手戻り作業が発生して、作業効率が低下してしまう場合があった。
さらに、ワークに部品を取り付けた後の検査においても、図面などと照らし合わせて取付状態を確認する必要があったために、取付状態の良否を直感的に判断し難いという問題もあった。
ところで近年、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示する複合現実感（ＭＲ：Mixed Reality）技術が、現実世界と仮想世界をシームレスに、リアルタイムで融合させる画像技術として注目されている（特許文献１−４）。
特開２００５−１０７９６８号公報 特開２００５−２９３１４１号公報 特開２００３−３０３３５６号公報 特開２００８−２９３２０９号公報
そこで、本発明は、複合現実感技術を利用して、ワークへの部品の取付作業における上述の問題を解決し、作業効率の大幅な向上を図ることができる部品取付作業支援システムおよび同システムを用いた部品取付方法を提供することを目的とする。
上記課題を解決するために、本発明は、部品の取付作業を支援するための部品取付作業支援システムであって、作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像するための撮像手段と、前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成するための仮想画像生成手段と、前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、前記合成画像を表示するための表示手段と、を備えたことを特徴とする。
また、好ましくは、前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する。
また、好ましくは、前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する。
また、好ましくは、前記仮想画像は、前記取付作業における許容取付誤差を含んで生成される。
また、好ましくは、取付後の前記部品の前記現実画像と、前記仮想画像の不一致箇所を前記表示部において表示するための誤差判定部をさらに備える。
上記課題を解決するために、本発明は、部品の取付作業を支援するための部品取付作業支援システムを用いた部品取付方法であって、作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像する撮像工程と、前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成する仮想画像生成工程と、前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、前記合成画像を表示するための表示工程と、を備える。
また、好ましくは、前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む。
また、好ましくは、前記合成画像に表示された前記仮想画像としての前記部品と、前記合成画像に表示された前記現実画像としての前記部品との位置関係を確認しながら、前記現実画像の前記部品を前記仮想画像の前記部品に位置合わせする。
本発明による部品取付作業支援システムおよび同システムを用いた部品取付方法によれば、複合現実感技術を利用することにより、従来の罫書き作業が不要となり、或いは罫書き作業が容易化されるので、部品取付の作業効率を大幅に向上させることができる。
本発明の一実施形態による部品取付作業支援システムの概略構成を示したブロック図。 図１に示した部品取付作業支援システムの概略構成を示した模式図。 図１に示した部品取付作業支援システムのマーカー部材を拡大して示した斜視図。 図１に示した部品取付作業支援システムを用いて、ワークに部品を取り付ける様子を示した模式図。 図１に示した部品取付作業支援システムの一変形例の概略構成を示したブロック図。 図１に示した部品取付作業支援システムの他の変形例の概略構成を示した模式図。 従来の部品取付作業を説明するための模式図。
以下、本発明の一実施形態による部品取付作業支援システムについて説明する。なお、本システムによる支援の対象となる部品取付作業は、典型的にはワークへの部品の仮付け溶接作業であるが、部品の仮付け溶接作業以外にも、ワークに部品を取り付ける各種の取付作業を支援することができる。
本実施形態によるワーク加工作業支援システムは、複合現実感技術を用いるものであるので、まず初めに複合現実感技術について概説する。
既に述べたように複合現実感技術とは、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示して、現実世界と仮想世界をシームレスに、リアルタイムで融合させる映像技術である。
すなわち、この複合現実感技術は、現実空間画像と、観察者の視点位置、視線方向に応じて生成される仮想空間画像とを合成することにより得られる合成画像を、観察者に提供するものである。そして、仮想物体のスケールを観察者に実寸感覚で捉えさせ、仮想物体が現実世界に本当に存在しているように感じさせることができる。
この複合現実感技術によれば、コンピュータ・グラフィック（ＣＧ）をマウスやキーボードで操作するのではなく、観察者が実際に移動して任意の位置や角度から見ることができる。すなわち、画像位置合わせ技術によってＣＧを指定の場所に置き、例えばシースルー型のヘッド・マウント・ディスプレイ（ＨＭＤ：Head Mount Display）を使って、そのＣＧを様々な角度から見ることが可能である。
複合現実感空間（ＭＲ空間）を表現するためには、現実空間中に定義した基準座標系、すなわち、現実空間に重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系と、撮像部の座標系（カメラ座標系）との間の、相対的な位置姿勢関係を取得することが必要である。
そのための適切な画像位置合わせ技術としては、例えば、磁気センサー、光学式センサー、または超音波センサーを利用するものや、マーカー、ジャイロを利用するもの等があげられる。
ここで、マーカー（「ランドマーク」とも呼ばれる。）とは、画像の位置合わせのために使う指標のことであり、現実空間内に配置されたマーカーを、ＨＭＤに装着されたカメラ（撮像装置）で撮影することにより、カメラの位置姿勢を画像処理によって推定することができるというものである。
すなわち、現実空間中の既知の三次元座標に所定の視覚的特徴を有するマーカーを配置し、現実画像中に含まれるマーカーを検出し、検出したマーカーの構成要素（マーカーの中心や頂点など）の二次元画像位置と、既知の三次元座標とからカメラ（撮像装置）の位置姿勢が算出される。
本実施形態による部品取付作業支援システムは、上述した複合現実感技術を利用したものであり、以下にその構成について、図１および図２を参照して説明する。
図１および図２に示したように、本実施形態による部品取付作業支援システム１は、システム本体２と、このシステム本体２との間でデータ通信を行うヘッド・マウント・ディスプレイ（ＨＭＤ）３と、マーカー部材４と、を備えている。
部品取付作業支援システム１のシステム本体２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、記憶媒体ドライブ装置、表示装置、入力デバイスなどを備えたコンピュータによって構成されている。
図２に示したようにＨＭＤ３は、作業者４の頭部に装着されており、撮像部５および表示部６を備えている。撮像部５および表示部６は、それぞれ２つずつ設けられており、撮像部５Ｒおよび表示部６Ｒは右目用、撮像部５Ｌおよび表示部６Ｌは左目用である。この構成により、ＨＭＤ３を頭部に装着した作業者４の右目と左目に対して視差画像を提示することができ、ＭＲ画像（合成画像）を三次元表示することができる。
ＨＭＤ３の撮像部５は、マーカー設置工程においてワーク７の上に暫定的に設置されたＭＲ用マーカー部材８と共に、部品の取付対象であるワーク７を撮像する（撮像工程）。マーカー部材８は、ワーク７上の基準点に対する所定の相対位置に設置されるものである。なお、図２では、部品の仮想画像３０Ｖを破線で示している。
図３に示したように、本実施形態によるマーカー部材８は、三角形の枠部９と、三角形の枠部材９の各頂点の下面に設けられた各支持部１０と、三角形の枠部材９の各頂点の上面に設けられた各複合現実感用マーカー１１とを備えている。
図１に示したように、ＨＭＤ３の撮像部５によって取得された現実空間の現実画像は、システム本体２の現実画像取得部１２に入力される。この現実画像取得部１２は、入力された現実画像のデータを、システム本体２の記憶部１３に出力する。
記憶部１３は、ＭＲ画像（合成画像）の提示処理のために必要な情報を保持し、処理に応じて情報の読み出しや更新を行うものである。
また、システム本体２は、記憶部１３が保持している現実画像の中から、マーカー部材８に設けられたマーカー１１を検出するためのマーカー検出部１４を備えている。
そして、現実物体であるワーク７の上に配置したマーカー部材８のマーカー１１の検出結果が、マーカー検出部１４から記憶部１３を介して撮像部位置姿勢推定部１５に送られる。この撮像部位置姿勢推定部１５は、マーカー１１の検出結果に基づいて、ワーク７自身の物体座標系を基準座標系としたＨＭＤ３の撮像部５の位置姿勢を推定する（位置姿勢情報取得工程）。
ここで、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５が、ワーク加工作業支援システム１における位置姿勢情報取得手段を構成している。
撮像部位置姿勢推定部１５により推定されたＨＭＤ３の撮像部５の位置姿勢は、仮想画像生成部１６に送られる。仮想画像生成部１６は、撮像部位置姿勢推定部１５から送られた撮像部５の位置姿勢、すなわち、作業者４の視点位置およびその視線方向に基づいて、撮像部５の位置姿勢から見える仮想物体の三次元の仮想画像３０Ｖを生成する（仮想画像生成工程）。
ここで、部品取付作業支援システム１では、この仮想画像生成部１６において、所定の仮付け溶接作業によってワーク７に取り付けられた後の部品の仮想画像３０Ｖが生成される。この取付後の部品の仮想画像３０Ｖは、許容取付誤差分だけ厚みを持たせて表示される。
仮想画像生成部１６において生成された取付後の部品の仮想画像３０Ｖは、システム本体２の画像合成部１７に送られる。画像合成部１７は、記憶部１３が保持している部品取付前のワーク７の現実画像に、仮想画像生成部１６から送られる仮想画像３０Ｖを重畳し、ＭＲ画像（合成画像）を生成する（画像合成工程）。
画像合成部１７で生成されたＭＲ画像（合成画像）は、ＨＭＤ３の表示部６に出力される（表示工程）。これにより、ＨＭＤ３の表示部６には、ＨＭＤ３の撮像部５の位置姿勢に応じた現実空間の画像と、仮想空間の画像とが重畳されたＭＲ画像が表示され、このＨＭＤ３を頭部に装着した作業者４に、複合現実空間を体験させることができる。
そして、作業者４は、図４（ａ）に示したように、ＭＲ画像に表示された仮想画像３０Ｖとしての部品と、同じくＭＲ画像に表示された現実の部品の現実画像３０Ｒとの位置関係を確認しながら、図４（ｂ）に示したように、現実画像３０Ｒの部品を仮想画像３０Ｖの部品に位置合わせする。
この状態で作業者は、図４（ｃ）に示したように、部品３０をワーク７に対して仮付け溶接する。これにより、事前の罫書き作業を必要とすることなく、所定の部品３０を、所定の位置で、所定の向きに取り付けることができる。
上述したように本実施形態による部品取付作業支援システム１によれば、現実画像３０Ｒの部品を仮想画像３０Ｖの部品に位置合わせすることで、部品３０の位置合わせを容易に行うことが可能であり、部品３０の取付作業の効率を大幅に高めることができる。
また、作業者４は、取付後の部品３０の仮想画像３０Ｖを、取付作業に先立って見ることができるので、取り付けるべき部品３０の選択を間違いなく行うことができると共に、部品３０の取付方向を間違えるようなこともない。これにより、手戻り作業が不要となって、部品３０の取付作業の効率を大幅に高めることができる。
なお、本実施形態による部品取付作業支援システム１は、上記の通り取付作業自体を支援することもできるが、部品取付後の状態確認に用いることもできる。
すなわち、ワーク７に部品３０を取り付けた後、ＨＭＤ３を通してワーク７を撮像することにより、ワーク７に取り付けられた実際の部品３０の現実画像３０Ｒと、仮想画像３０Ｖとしての部品との合成画像を見ることができる。
従って、作業者（この場合は検査者）４は、図面との照合作業を行うことなく、現実画像３０Ｒと仮想画像３０Ｖとの間の部品のズレを視認することにより、部品３０の取付状態の良否を擬似的な目視検査にて直感的に判断することができる。これにより、部品３０の取付状態の検査時間を大幅に短縮することができる。
また、本実施形態による部品取付作業支援システム１は、ワーク７に対する罫書き作業を支援することもできる。すなわち、ＨＭＤ３を通してワーク７を撮像することより、ワーク７に取り付けられた状態の部品３０の仮想画像３０Ｖを、ワーク７の現実画像に重畳させて見ることができる。そこで、作業者４は、ＨＭＤ３の表示部６に表示された部品３０の仮想画像３０Ｖに合わせて罫書き作業を行う。これにより、ワーク７の寸法が大きい場合や、ワーク７が曲面を有している場合でも、罫書き作業を容易に行うことが可能となる。
次に、上述した実施形態の一変形例について、図５を参照して説明する。
本変形例による部品取付作業支援システムは、図５に示したように、取付後の部品３０の現実画像３０Ｒと、取付後の部品３０の仮想画像３０Ｖとの不一致箇所を、パターンマッチングにより検出し、その不一致の程度を示す情報と共に、ＨＭＤ３の表示部６において表示するための誤差判定部２０をさらに備えている。
なお、上述した実施形態およびその変形例においては、部品取付作業支援システム１における位置姿勢情報取得手段を、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５によって構成するようにしたが、これに代えて、あるいはこれと併せて、図６に示したように、作業者４の視点位置およびその視線方向、並びにワーク７の位置を計測するための位置方向計測装置２２を設けることもできる。この種の位置方向計測装置２２としては、例えば、超音波センサーや磁気式・光学式位置計測センサーを用いることができる。
また、複合現実感用マーカー１１は、部品３０の仮付け作業に先立って、予めワーク７に貼り付けておくタイプのものでも良い。
また、上述したような別途用意する複合現実感用マーカー１１に代えて、ワーク７自身の一部（例えば、幾何学的特徴点である角部）を位置合わせ用の基準点（一種のマーカー）として利用することもできる。
１ 部品取付作業支援システム
２ システム本体
３ ヘッド・マウント・ディスプレイ（ＨＭＤ）
４ マーカー部材
５、５Ｒ、５Ｌ ＨＭＤの撮像部
６、６Ｒ、６Ｌ ＨＭＤの表示部
７ ワーク
８ マーカー部材
９ マーカー部材の枠部材
１０ マーカー部材の支持部
１１ マーカー
１２ 現実画像取得部
１３ 記憶部
１４ マーカー検出部
１５ 撮像部位置姿勢推定部
１６ 仮想画像生成部
１７ 画像合成部
１８ 保持部材
２０ 誤差判定部
２２ 位置方向計測装置
３０ 部品
３０Ｒ 部品の現実画像
３０Ｖ 部品の仮想画像

Claims (8)

  1. 部品の取付作業を支援するための部品取付作業支援システムであって、
    作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像するための撮像手段と、
    前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、
    前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成するための仮想画像生成手段と、
    前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、
    前記合成画像を表示するための表示手段と、を備えた部品取付作業支援システム。
  2. 前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する、請求項１記載の部品取付作業支援システム。
  3. 前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する、請求項１または２に記載の部品取付作業支援システム。
  4. 前記仮想画像は、前記取付作業における許容取付誤差を含んで生成される、請求項１乃至３のいずれか一項に記載の部品取付作業支援システム。
  5. 取付後の前記部品の前記現実画像と、前記仮想画像との不一致箇所を前記表示部において表示するための誤差判定部をさらに備えた、請求項１乃至４のいずれか一項に記載の部品取付作業支援システム。
  6. 部品の取付作業を支援するための部品取付作業支援システムを用いた部品取付方法であって、
    作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像する撮像工程と、
    前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、
    前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成する仮想画像生成工程と、
    前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、
    前記合成画像を表示するための表示工程と、を備えた部品取付方法。
  7. 前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む、請求項６記載の部品取付方法。
  8. 前記合成画像に表示された前記仮想画像としての前記部品と、前記合成画像に表示された前記現実画像としての前記部品との位置関係を確認しながら、前記現実画像の前記部品を前記仮想画像の前記部品に位置合わせする、請求項６または７に記載の部品取付方法。
JP2013091419A 2013-04-24 2013-04-24 部品取付作業支援システムおよび部品取付方法 Active JP6138566B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013091419A JP6138566B2 (ja) 2013-04-24 2013-04-24 部品取付作業支援システムおよび部品取付方法
CN201480023260.9A CN105144249B (zh) 2013-04-24 2014-04-23 零件安装作业支持系统及零件安装方法
US14/787,198 US20160078682A1 (en) 2013-04-24 2014-04-23 Component mounting work support system and component mounting method
KR1020177022210A KR20170095400A (ko) 2013-04-24 2014-04-23 부품 부착 작업 지원 시스템 및 부품 부착 방법
KR1020157031986A KR20150139609A (ko) 2013-04-24 2014-04-23 부품 부착 작업 지원 시스템 및 부품 부착 방법
PCT/JP2014/061403 WO2014175323A1 (ja) 2013-04-24 2014-04-23 部品取付作業支援システムおよび部品取付方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013091419A JP6138566B2 (ja) 2013-04-24 2013-04-24 部品取付作業支援システムおよび部品取付方法

Publications (2)

Publication Number Publication Date
JP2014215748A true JP2014215748A (ja) 2014-11-17
JP6138566B2 JP6138566B2 (ja) 2017-05-31

Family

ID=51791893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013091419A Active JP6138566B2 (ja) 2013-04-24 2013-04-24 部品取付作業支援システムおよび部品取付方法

Country Status (5)

Country Link
US (1) US20160078682A1 (ja)
JP (1) JP6138566B2 (ja)
KR (2) KR20170095400A (ja)
CN (1) CN105144249B (ja)
WO (1) WO2014175323A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181374A (ja) * 2016-03-31 2017-10-05 三井住友建設株式会社 表面高さ表示方法
JP2018163466A (ja) * 2017-03-24 2018-10-18 株式会社インフォマティクス 図面投影システム、図面投影方法及びプログラム
JP2018180868A (ja) * 2017-04-12 2018-11-15 株式会社Ｅｃａｄソリューションズ 画像処理装置及び製造システム
WO2020049999A1 (ja) * 2018-09-03 2020-03-12 三菱自動車工業株式会社 製造支援システム，方法，プログラム
JP6736798B1 (ja) * 2020-02-14 2020-08-05 ヤマザキマザック株式会社 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
WO2020217591A1 (ja) * 2019-04-25 2020-10-29 株式会社Ｎｔｔドコモ 治具の配置を示す映像処理システム
JP2020181531A (ja) * 2019-04-26 2020-11-05 三菱重工業株式会社 据付物の施工方法、映像表示装置及び据付位置の検査方法
JP7435330B2 (ja) 2020-07-14 2024-02-21 株式会社島津製作所 ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
CN105939472B (zh) * 2015-03-02 2022-07-15 维蒂克影像国际公司 具有视频叠加的激光投影系统
GB2540351A (en) * 2015-07-10 2017-01-18 Jetcam Int S A R L Transfer of fabric shapes from a nest to stacks of fabric shapes, and to moulds
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6279159B2 (ja) * 2016-03-04 2018-02-14 新日鉄住金ソリューションズ株式会社 表示システム、情報処理装置、情報処理方法及びプログラム
JP6617291B2 (ja) 2016-10-25 2019-12-11 パナソニックＩｐマネジメント株式会社 部品実装システムおよび段取り作業の進捗表示システム
JP6833460B2 (ja) * 2016-11-08 2021-02-24 株式会社東芝 作業支援システム、作業方法、および処理装置
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US20190057180A1 (en) * 2017-08-18 2019-02-21 International Business Machines Corporation System and method for design optimization using augmented reality
DE102017130913A1 (de) * 2017-12-21 2019-06-27 Rehau Ag + Co Verfahren zum Aufbau eines Rohrsystems unter Erzeugung mindestens einer Rohrverbindung
US11270473B2 (en) * 2018-10-10 2022-03-08 Hitachi, Ltd. Mechanical fastening unit management method using augmented reality
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
JP6816175B2 (ja) * 2019-01-10 2021-01-20 本田技研工業株式会社 製品測定結果表示システム
KR102657877B1 (ko) * 2019-05-30 2024-04-17 삼성전자주식회사 증강 현실의 가상 객체 데이터 획득 방법 및 그에 관한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155855A (ja) * 1998-06-30 2000-06-06 Tobishima Corp 仮想現実感を利用した施工支援情報システム。
JP2002006919A (ja) * 2000-06-20 2002-01-11 Nissan Motor Co Ltd 作業指示装置における位置検出方法および位置検出装置
JP2004021931A (ja) * 2002-06-20 2004-01-22 West Unitis Kk 作業誘導システム
JP2009069954A (ja) * 2007-09-11 2009-04-02 National Institute Of Advanced Industrial & Technology 作業支援装置

Family Cites Families (225)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588139A (en) * 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
EP1356781A3 (en) * 1992-01-21 2013-07-24 SRI International Teleoperation surgical system
US6731988B1 (en) * 1992-01-21 2004-05-04 Sri International System and method for remote endoscopic surgery
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
US6788999B2 (en) * 1992-01-21 2004-09-07 Sri International, Inc. Surgical system
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US5394202A (en) * 1993-01-14 1995-02-28 Sun Microsystems, Inc. Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
WO1994024631A1 (en) * 1993-04-20 1994-10-27 General Electric Company Computer graphic and live video system for enhancing visualisation of body structures during surgery
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US8228305B2 (en) * 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US6629065B1 (en) * 1998-09-30 2003-09-30 Wisconsin Alumni Research Foundation Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments
JP2002538543A (ja) * 1999-03-02 2002-11-12 シーメンス アクチエンゲゼルシヤフト 強調現実感技術により対話を状況に応じて支援するためのシステム及び方法
JP2001126085A (ja) * 1999-08-16 2001-05-11 Mitsubishi Electric Corp 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法
JP2001195115A (ja) * 2000-01-06 2001-07-19 Canon Inc 工数自動設定システム、工数自動設定方法、分散型クライアントサーバシステム及びコンピュータプログラムの記憶媒体
US6701174B1 (en) * 2000-04-07 2004-03-02 Carnegie Mellon University Computer-aided bone distraction
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP3805231B2 (ja) * 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
JP2003144454A (ja) * 2001-11-16 2003-05-20 Yoshio Koga 関節手術支援情報算出方法、関節手術支援情報算出プログラム、及び関節手術支援情報算出システム
US20030163917A1 (en) * 2002-03-04 2003-09-04 Davidshofer Patrick J. Wire harness guided assembly and method for use thereof
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
JP3894150B2 (ja) * 2002-04-17 2007-03-14 セイコーエプソン株式会社 表示制御装置
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2004213355A (ja) * 2002-12-27 2004-07-29 Canon Inc 情報処理方法
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
JP3991020B2 (ja) * 2003-09-30 2007-10-17 キヤノン株式会社 画像表示方法及び画像表示システム
US7676079B2 (en) * 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4502361B2 (ja) * 2003-09-30 2010-07-14 キヤノン株式会社 指標姿勢検出方法および装置
JP2005108108A (ja) * 2003-10-01 2005-04-21 Canon Inc 三次元ｃｇ操作装置および方法、並びに位置姿勢センサのキャリブレーション装置
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US20050281465A1 (en) * 2004-02-04 2005-12-22 Joel Marquart Method and apparatus for computer assistance with total hip replacement procedure
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP2005339377A (ja) * 2004-05-28 2005-12-08 Canon Inc 画像処理方法、画像処理装置
SE525826C2 (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US7221489B2 (en) * 2004-08-23 2007-05-22 Cross Match Technologies, Inc Live print scanner with holographic platen
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
CA2482240A1 (en) * 2004-09-27 2006-03-27 Claude Choquet Body motion training and qualification system and method
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US7868904B2 (en) * 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP4726194B2 (ja) * 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
WO2006111965A2 (en) * 2005-04-20 2006-10-26 Visionsense Ltd. System and method for producing an augmented image of an organ of a patient
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
JP4914123B2 (ja) * 2005-07-15 2012-04-11 キヤノン株式会社 画像処理装置及び方法
WO2007111749A2 (en) * 2005-12-20 2007-10-04 Intuitive Surgical, Inc. Method for handling an operator command exceeding a medical device state limitation in a medical robotic system
US7453227B2 (en) * 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US8165659B2 (en) * 2006-03-22 2012-04-24 Garrett Sheffer Modeling method and apparatus for use in surgical navigation
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
JP4810295B2 (ja) * 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
CA2654261C (en) * 2006-05-19 2017-05-16 Mako Surgical Corp. Method and apparatus for controlling a haptic device
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US7920124B2 (en) * 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US20080123910A1 (en) * 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
WO2008066856A2 (en) * 2006-11-27 2008-06-05 Northeastern University Patient specific ankle-foot orthotic device
JP2008165488A (ja) * 2006-12-28 2008-07-17 Fujitsu Ltd 組立操作性評価装置、方法及びプログラム
US8060186B2 (en) * 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
WO2008103383A1 (en) * 2007-02-20 2008-08-28 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
US7782319B2 (en) * 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US9043707B2 (en) * 2007-03-28 2015-05-26 Autodesk, Inc. Configurable viewcube controller
US8849373B2 (en) * 2007-05-11 2014-09-30 Stanford University Method and apparatus for real-time 3D target position estimation by combining single x-ray imaging and external respiratory signals
EP2165215B1 (de) * 2007-05-24 2014-05-07 SurgicEye GmbH Bilderzeugungsapparat und -methode zur nuklearbildgebung
JP5113426B2 (ja) * 2007-05-29 2013-01-09 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US20080297535A1 (en) * 2007-05-30 2008-12-04 Touch Of Life Technologies Terminal device for presenting an improved virtual environment to a user
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US9352411B2 (en) * 2008-05-28 2016-05-31 Illinois Tool Works Inc. Welding training system
AT507021B1 (de) * 2008-07-04 2010-04-15 Fronius Int Gmbh Vorrichtung zur simulation eines schweissprozesses
US9330575B2 (en) * 2008-08-21 2016-05-03 Lincoln Global, Inc. Tablet-based welding simulator
US8237784B2 (en) * 2008-11-10 2012-08-07 Medison Co., Ltd. Method of forming virtual endoscope image of uterus
WO2010086374A1 (en) * 2009-01-29 2010-08-05 Imactis Method and device for navigation of a surgical tool
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
JP5414380B2 (ja) * 2009-06-23 2014-02-12 キヤノン株式会社 画像処理方法及び画像処理装置
US10026016B2 (en) * 2009-06-26 2018-07-17 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2499550A1 (en) * 2009-11-10 2012-09-19 Selex Sistemi Integrati S.p.A. Avatar-based virtual collaborative assistance
US20110190774A1 (en) * 2009-11-18 2011-08-04 Julian Nikolchev Methods and apparatus for performing an arthroscopic procedure using surgical navigation
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8842893B2 (en) * 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US8520027B2 (en) * 2010-05-14 2013-08-27 Intuitive Surgical Operations, Inc. Method and system of see-through console overlay
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5514637B2 (ja) * 2010-06-11 2014-06-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP5643549B2 (ja) * 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
CN101920233A (zh) * 2010-07-09 2010-12-22 广东工业大学 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法
US9035944B2 (en) * 2010-08-06 2015-05-19 Intergraph Corporation 3-D model view manipulation apparatus
JP5769392B2 (ja) * 2010-08-26 2015-08-26 キヤノン株式会社 情報処理装置およびその方法
JP5709440B2 (ja) * 2010-08-31 2015-04-30 キヤノン株式会社 情報処理装置、情報処理方法
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
WO2012056034A1 (de) * 2010-10-28 2012-05-03 Fiagon Gmbh Navigationsaufsatz für optische geräte in der medizin und verfahren
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
JP2012243147A (ja) * 2011-05-20 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2012252091A (ja) * 2011-06-01 2012-12-20 Sony Corp 表示装置
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US9498231B2 (en) * 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9084565B2 (en) * 2011-07-29 2015-07-21 Wisconsin Alumni Research Foundation Hand-function therapy system with sensory isolation
US9554866B2 (en) * 2011-08-09 2017-01-31 Covidien Lp Apparatus and method for using a remote control system in surgical procedures
US9123155B2 (en) * 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US9101994B2 (en) * 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
WO2013061225A1 (en) * 2011-10-26 2013-05-02 Koninklijke Philips Electronics N.V. Endoscopic registration of vessel tree images
AU2011253973B2 (en) * 2011-12-12 2015-03-12 Canon Kabushiki Kaisha Keyframe selection for parallel tracking and mapping
CN103959344B (zh) * 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US9573215B2 (en) * 2012-02-10 2017-02-21 Illinois Tool Works Inc. Sound-based weld travel speed sensing system and method
US9539112B2 (en) * 2012-03-28 2017-01-10 Robert L. Thornberry Computer-guided system for orienting a prosthetic acetabular cup in the acetabulum during total hip replacement surgery
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US8989843B2 (en) * 2012-06-05 2015-03-24 DePuy Synthes Products, LLC Methods and apparatus for estimating the position and orientation of an implant using a mobile device
US9152226B2 (en) * 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
JP2014071499A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9368045B2 (en) * 2012-11-09 2016-06-14 Illinois Tool Works Inc. System and device for welding training
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9448407B2 (en) * 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US9076257B2 (en) * 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
WO2014113455A1 (en) * 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
EP2953098B1 (en) * 2013-02-01 2019-03-13 Sony Corporation Information processing device, terminal device, information processing method, and programme
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
JP6281496B2 (ja) * 2013-02-01 2018-02-21 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US20140240349A1 (en) * 2013-02-22 2014-08-28 Nokia Corporation Method and apparatus for presenting task-related objects in an augmented reality display
US20140247281A1 (en) * 2013-03-03 2014-09-04 Geovector Corp. Dynamic Augmented Reality Vision Systems
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US10269180B2 (en) * 2013-04-16 2019-04-23 Sony Corporation Information processing apparatus and information processing method, display apparatus and display method, and information processing system
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
CN105190705B (zh) * 2013-04-24 2019-05-10 川崎重工业株式会社 工件加工作业支持系统及工件加工方法
KR20140129702A (ko) * 2013-04-30 2014-11-07 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
CA2913218C (en) * 2013-05-24 2022-09-27 Awe Company Limited Systems and methods for a shared mixed reality experience
WO2014199231A2 (en) * 2013-05-24 2014-12-18 Looking Glass Hk Ltd. Method for manufacturing a physical volumetric representation of a virtual three-dimensional object
JP6122495B2 (ja) * 2013-06-11 2017-04-26 敦 丹治 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP5845211B2 (ja) * 2013-06-24 2016-01-20 キヤノン株式会社 画像処理装置、画像処理方法
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
WO2015006334A1 (en) * 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
KR20150010432A (ko) * 2013-07-19 2015-01-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2015017242A1 (en) * 2013-07-28 2015-02-05 Deluca Michael J Augmented reality based user interfacing
JP6225546B2 (ja) * 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
JP6314394B2 (ja) * 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP6264834B2 (ja) * 2013-10-24 2018-01-24 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
KR101354133B1 (ko) * 2013-12-12 2014-02-05 한라아이엠에스 주식회사 증강현실을 이용한 원격관리형 선박평형수 처리장치
WO2015090421A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
JP6144364B2 (ja) * 2014-01-17 2017-06-07 株式会社日立製作所 作業支援用データ作成プログラム
KR102332326B1 (ko) * 2014-01-23 2021-11-30 소니그룹주식회사 화상 표시 장치 및 화상 표시 방법
EP3108287A4 (en) * 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
WO2015127464A1 (en) * 2014-02-24 2015-08-27 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9723300B2 (en) * 2014-03-17 2017-08-01 Spatial Intelligence Llc Stereoscopic display
KR101570857B1 (ko) * 2014-04-29 2015-11-24 큐렉소 주식회사 로봇 수술 계획 조정 장치
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
HK1201682A2 (en) * 2014-07-11 2015-09-04 Idvision Ltd Augmented reality system
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US9861882B2 (en) * 2014-09-05 2018-01-09 Trigger Global Inc. Augmented reality gaming systems and methods
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10303435B2 (en) * 2015-01-15 2019-05-28 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US20160232715A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
JP6336930B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JP6336929B2 (ja) * 2015-02-16 2018-06-06 富士フイルム株式会社 仮想オブジェクト表示装置、方法、プログラムおよびシステム
WO2016144741A1 (en) * 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
US9972133B2 (en) * 2015-04-24 2018-05-15 Jpw Industries Inc. Wearable display for use with tool
US9883110B2 (en) * 2015-05-09 2018-01-30 CNZ, Inc. Toggling between augmented reality view and rendered view modes to provide an enriched user experience
US9589390B2 (en) * 2015-05-13 2017-03-07 The Boeing Company Wire harness assembly
US9892506B2 (en) * 2015-05-28 2018-02-13 The Florida International University Board Of Trustees Systems and methods for shape analysis using landmark-driven quasiconformal mapping
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
KR20170020998A (ko) * 2015-08-17 2017-02-27 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR20170029320A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10092361B2 (en) * 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
US9600938B1 (en) * 2015-11-24 2017-03-21 Eon Reality, Inc. 3D augmented reality with comfortable 3D viewing
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6765823B2 (ja) * 2016-02-23 2020-10-07 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US10327624B2 (en) * 2016-03-11 2019-06-25 Sony Corporation System and method for image processing to generate three-dimensional (3D) view of an anatomical portion
US20170367766A1 (en) * 2016-03-14 2017-12-28 Mohamed R. Mahfouz Ultra-wideband positioning for wireless ultrasound tracking and communication
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10194990B2 (en) * 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
KR20170129509A (ko) * 2016-05-17 2017-11-27 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US10788682B2 (en) * 2016-06-27 2020-09-29 Virtual Marketing Incorporated Mobile hologram apparatus
US10019839B2 (en) * 2016-06-30 2018-07-10 Microsoft Technology Licensing, Llc Three-dimensional object scanning feedback
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
KR102526083B1 (ko) * 2016-08-30 2023-04-27 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
WO2018049196A1 (en) * 2016-09-09 2018-03-15 GYS Tech, LLC d/b/a Cardan Robotics Methods and systems for display of patient data in computer-assisted surgery
KR102369905B1 (ko) * 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
AU2018236172B2 (en) * 2017-03-13 2021-03-04 Zimmer, Inc. Augmented reality diagnosis guidance
EP3385912B1 (en) * 2017-04-06 2022-08-24 Hexagon Technology Center GmbH Near field manoeuvring for ar-devices using image tracking
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
JP2019016044A (ja) * 2017-07-04 2019-01-31 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
EP4245250A3 (en) * 2017-08-15 2023-09-27 Holo Surgical Inc. Surgical navigation system for providing an augmented reality image during operation
EP3445048A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US11357576B2 (en) * 2018-07-05 2022-06-14 Dentsply Sirona Inc. Method and system for augmented reality guided surgery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155855A (ja) * 1998-06-30 2000-06-06 Tobishima Corp 仮想現実感を利用した施工支援情報システム。
JP2002006919A (ja) * 2000-06-20 2002-01-11 Nissan Motor Co Ltd 作業指示装置における位置検出方法および位置検出装置
JP2004021931A (ja) * 2002-06-20 2004-01-22 West Unitis Kk 作業誘導システム
JP2009069954A (ja) * 2007-09-11 2009-04-02 National Institute Of Advanced Industrial & Technology 作業支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鈴木宏正: ""３次元ＣＡＤシステムの最新動向"", 日経ＣＧ, vol. 第６８号, JPN6016039462, 1 May 1992 (1992-05-01), JP, pages 140 - 148, ISSN: 0003418793 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181374A (ja) * 2016-03-31 2017-10-05 三井住友建設株式会社 表面高さ表示方法
JP2018163466A (ja) * 2017-03-24 2018-10-18 株式会社インフォマティクス 図面投影システム、図面投影方法及びプログラム
JP2018180868A (ja) * 2017-04-12 2018-11-15 株式会社Ｅｃａｄソリューションズ 画像処理装置及び製造システム
JPWO2020049999A1 (ja) * 2018-09-03 2021-08-26 三菱自動車工業株式会社 製造支援システム，方法，プログラム
WO2020049999A1 (ja) * 2018-09-03 2020-03-12 三菱自動車工業株式会社 製造支援システム，方法，プログラム
JP7374908B2 (ja) 2018-09-03 2023-11-07 三菱自動車工業株式会社 製造支援システム，方法，プログラム
JP7468722B2 (ja) 2018-09-03 2024-04-16 三菱自動車工業株式会社 製造支援システム，方法，プログラム
WO2020217591A1 (ja) * 2019-04-25 2020-10-29 株式会社Ｎｔｔドコモ 治具の配置を示す映像処理システム
JPWO2020217591A1 (ja) * 2019-04-25 2021-06-03 株式会社Ｎｔｔドコモ 治具の配置を示す映像処理システム
JP7066013B2 (ja) 2019-04-25 2022-05-12 株式会社Ｎｔｔドコモ 治具の配置を示す映像処理システム
JP2020181531A (ja) * 2019-04-26 2020-11-05 三菱重工業株式会社 据付物の施工方法、映像表示装置及び据付位置の検査方法
JP7336253B2 (ja) 2019-04-26 2023-08-31 三菱重工業株式会社 据付物の施工方法
JP6736798B1 (ja) * 2020-02-14 2020-08-05 ヤマザキマザック株式会社 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
WO2021161530A1 (ja) * 2020-02-14 2021-08-19 ヤマザキマザック株式会社 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム
JP7435330B2 (ja) 2020-07-14 2024-02-21 株式会社島津製作所 ヘッドモーショントラッカ装置および航空機用ヘッドモーショントラッカ装置

Also Published As

Publication number Publication date
JP6138566B2 (ja) 2017-05-31
CN105144249A (zh) 2015-12-09
KR20150139609A (ko) 2015-12-11
US20160078682A1 (en) 2016-03-17
KR20170095400A (ko) 2017-08-22
CN105144249B (zh) 2019-07-12
WO2014175323A1 (ja) 2014-10-30

Similar Documents

Publication Publication Date Title
JP6138566B2 (ja) 部品取付作業支援システムおよび部品取付方法
JP6344890B2 (ja) 部品組立作業支援システムおよび部品組立方法
JP6349307B2 (ja) ワーク加工作業支援システムおよびワーク加工方法
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
US10950057B2 (en) Virtual spatially registered video overlay display
WO2010113788A1 (ja) 情報表示装置
US20150022552A1 (en) Ar image processing apparatus and method technical field
JP2012513059A (ja) 場面と仮想シナリオを融合するシステムおよび方法
KR20170060652A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
WO2013021458A1 (ja) 複合現実感装置
CA2796514A1 (en) Method and device for representing synthetic environments
EP3642694B1 (en) Augmented reality system and method of displaying an augmented reality image
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
CN104581350A (zh) 一种显示方法和显示装置
JP6295296B2 (ja) 複合システム及びターゲットマーカ
JP2017185503A (ja) 溶接作業補助装置、溶接作業補助方法
JP7282325B2 (ja) 表示システム
JP4577196B2 (ja) 磁気マッピング装置ならびにその取付位置補正方法
JP6529160B2 (ja) Ａｒ情報表示装置
CN111372698A (zh) 作业辅助系统及作业辅助方法
JP7169940B2 (ja) 図面重畳装置及びプログラム
KR20180026418A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
JP2019065467A (ja) 杭位置検査装置及び杭位置検査方法
EP4343498A1 (en) System and method for conformal head worn display (hwd) headtracker alignment
US20200132998A1 (en) Imaging assisting device and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170426

R150 Certificate of patent or registration of utility model

Ref document number: 6138566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250