JP2017091078A - 重畳表示方法、重畳表示装置、及び重畳表示プログラム - Google Patents

重畳表示方法、重畳表示装置、及び重畳表示プログラム Download PDF

Info

Publication number
JP2017091078A
JP2017091078A JP2015218318A JP2015218318A JP2017091078A JP 2017091078 A JP2017091078 A JP 2017091078A JP 2015218318 A JP2015218318 A JP 2015218318A JP 2015218318 A JP2015218318 A JP 2015218318A JP 2017091078 A JP2017091078 A JP 2017091078A
Authority
JP
Japan
Prior art keywords
superimposed
image
model
captured image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015218318A
Other languages
English (en)
Other versions
JP6661980B2 (ja
Inventor
知宏 青柳
Tomohiro Aoyanagi
知宏 青柳
陽次郎 沼田
Yojiro Numata
陽次郎 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015218318A priority Critical patent/JP6661980B2/ja
Priority to US15/291,161 priority patent/US10304159B2/en
Priority to EP18157139.9A priority patent/EP3340189A1/en
Priority to EP16194556.3A priority patent/EP3166083B1/en
Priority to MYPI2016703920A priority patent/MY190811A/en
Priority to CN201610971866.6A priority patent/CN107016726B/zh
Publication of JP2017091078A publication Critical patent/JP2017091078A/ja
Application granted granted Critical
Publication of JP6661980B2 publication Critical patent/JP6661980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化する。
【解決手段】コンピュータは、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、その立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示する（ステップ２０１）。次に、コンピュータは、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付ける（ステップ２０２）。そして、コンピュータは、受け付けた選択指示に応じて、重ね合わせる対象のエッジ線と稜線とが重なるようにモデル画像を撮像画像に重畳した重畳画像を表示する（ステップ２０３）。
【選択図】図２

Description

本発明は、重畳表示方法、重畳表示装置、及び重畳表示プログラムに関する。
鉄構業界において鉄塔、橋梁等の立体構造物を構築する際、Computer Aided Design（ＣＡＤ）による設計から現場組立までの間に、部材加工工程、溶接工程、仮組立工程等が実施されることがある。この場合、仮組立工程の後に、部材が現場へ出荷され、現場組立が行われる。部材加工工程では、立体構造物の鉄鋼部材等が加工され、溶接工程では、鉄鋼部材の仮溶接、仮溶接の診断、及び本溶接が行われ、仮組立工程では、仮組立、分解、塗装仕上げ、及び診断が行われる。
このような立体構造物は大型の一品物であることが多いため、溶接工程及び仮組立工程における診断は、仮溶接又は塗装された対象物と、設計時に作成された３次元ＣＡＤモデルとを比較する、目視確認により行われることが多い。
溶接工程における不具合が診断時に見過ごされ、仮組立の作業中に発見された場合、仮組立工程から部材加工工程等への手戻りが発生する。また、仮組立工程における不具合が診断時に見過ごされ、現場組立の作業中に発見された場合、現場組立から部材加工工程等への手戻りが発生する。
画像処理の分野において、物体の画像と３次元モデルの画像とを重畳表示する技術も知られている（例えば、特許文献１〜特許文献３を参照）。
特開２０１０−２１１７４６号公報 特開平１１−２３９９８９号公報 国際公開第２０１２／１７３１４１号パンフレット
上述した従来の立体構造物の構築作業においては、診断方法のデジタル化が進んでいない。そこで、仮組立及び現場組立における手戻りの発生を防止するために、対象物と３次元ＣＡＤモデルとを比較する目視確認に一定の作業時間が費やされる。部材の個数が多くなれば、立体構造物の診断箇所も多くなるため、目視確認の作業時間が増大する。また、精度の高い診断を短時間で行える熟練作業者を育成するのは容易ではなく、熟練作業者の育成期間が数年に及ぶこともある。
なお、かかる問題は、鉄塔、橋梁等の構築作業における診断に限らず、他の立体構造物とそのモデル情報が表すモデルとを比較する確認作業においても生ずるものである。
１つの側面において、本発明は、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することを目的とする。
１つの案では、コンピュータは以下の処理を実行する。
（１）コンピュータは、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、その立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示する。
（２）コンピュータは、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付ける。
（３）コンピュータは、受け付けた選択指示に応じて、重ね合わせる対象のエッジ線と稜線とが重なるようにモデル画像を撮像画像に重畳した重畳画像を表示する。
実施形態によれば、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することができる。
第１の重畳表示装置の機能的構成図である。 第１の重畳表示処理のフローチャートである。 第２の重畳表示装置の機能的構成図である。 第２の重畳表示処理のフローチャートである。 重畳表示装置の具体例を示す機能的構成図である。 重畳表示処理の具体例を示すフローチャート（その１）である。 重畳表示処理の具体例を示すフローチャート（その２）である。 撮像画像を示す図である。 モデル情報を示す図である。 エッジ線を示す図である。 稜線を示す図である。 ポリゴンを示す図である。 モデル画像を示す図である。 モデル画像の大きさの調整を示す図である。 モデル画像の向きの調整を示す図である。 モデル画像の位置の調整を示す図である。 選択されたエッジ線及び稜線を示す図である。 解除されたエッジ線及び稜線を示す図である。 エッジ線及び稜線の４個の組み合わせを示す図である。 組み合わせ情報を示す図である。 重畳画像を示す図である。 重畳表示処理を示す図である。 調整処理のフローチャートである。 調整処理を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、第１の重畳表示装置の機能的構成例を示している。図１の重畳表示装置１０１は、表示部１１１及び受け付け部１１２を含む。
図２は、図１の重畳表示装置１０１が行う第１の重畳表示処理の例を示すフローチャートである。まず、表示部１１１は、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、その立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示する（ステップ２０１）。
次に、受け付け部１１２は、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付ける（ステップ２０２）。そして、表示部１１１は、受け付け部１１２が受け付けた選択指示に応じて、重ね合わせる対象のエッジ線と稜線とが重なるようにモデル画像を撮像画像に重畳した重畳画像を表示する。
図１の重畳表示装置１０１によれば、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することができる。
図３は、第２の重畳表示装置の機能的構成例を示している。図３の重畳表示装置３０１は、表示部３１１、受け付け部３１２、及び制御部３１３を含む。
図４は、図３の重畳表示装置３０１が行う第２の重畳表示処理の例を示すフローチャートである。まず、表示部３１１は、撮像装置により立体構造物を撮像した撮像画像と、その立体構造物のモデル情報が表すモデル画像とを表示する（ステップ４０１）。
次に、制御部３１３は、受け付け部３１２が重畳表示指示を受け付ける前後において、変更指示を撮像画像とモデル画像とに対して別々に受け付けるか、又は変更指示を撮像画像とモデル画像とに共通して受け付けるかを切り替える（ステップ４０２）。重畳表示指示は、撮像画像の基準位置とモデル画像の基準位置とが重なるようにモデル画像を撮像画像に重畳した重畳画像を表示させる指示であり、変更指示は、撮像画像又はモデル画像の拡大、縮小、移動、又は回転を示す指示である。
図３の重畳表示装置３０１によれば、立体構造物とモデル情報が表すモデルとを比較する確認作業を効率化することができる。
図５は、図１の重畳表示装置１０１及び図３の重畳表示装置３０１の具体例を示している。図５の重畳表示装置５０１は、受け付け部５１１、制御部５１２、表示部５１３、及び記憶部５１４を含む。受け付け部５１１は、図１の受け付け部１１２及び図３の受け付け部３１２に対応し、制御部５１２は、図３の制御部３１３に対応し、表示部５１３は、図１の表示部１１１及び図３の表示部３１１に対応する。
記憶部５１４は、１つ以上の撮像画像５２１、１つ以上のモデルファイル５２２、モデル画像５２３、組み合わせ情報５２４、重畳画像５２５、及び変更情報５２６を記憶する。撮像画像５２１は、カメラのような撮像装置により立体構造物を撮像した画像であり、撮像装置の画角を表す情報を含んでいてもよい。モデルファイル５２２は、立体構造物の３次元ＣＡＤモデルを表すモデル情報であり、３次元ＣＡＤモデルに含まれる複数の頂点の頂点情報と、複数の線分の線分情報とを含む。
モデル画像５２３は、モデルファイル５２２が表す３次元ＣＡＤモデルの画像である。組み合わせ情報５２４は、作業者が選択した、重ね合わせる対象のエッジ線と稜線との組み合わせを表す情報であり、重畳画像５２５は、モデル画像５２３を撮像画像５２１に重畳した画像である。変更情報５２６は、画像の拡大、縮小、移動、又は回転を示す変更指示を、撮像画像５２１とモデル画像５２３とに対して別々に受け付けるか、又は撮像画像５２１とモデル画像５２３とに共通して受け付けるかを示す情報である。
重畳表示装置５０１は、タブレット、ノート型パーソナルコンピュータ、スマートフォン等の携帯端末装置であってもよく、デスクトップ型パーソナルコンピュータ等の固定端末装置であってもよい。
図６Ａ及び図６Ｂは、図５の重畳表示装置５０１が行う重畳表示処理の具体例を示すフローチャートである。まず、作業者は、撮像画像５２１及びモデルファイル５２２を指定する指示を入力し、受け付け部５１１は、入力された指示を受け付ける（ステップ６０１）。そして、表示部５１３は、受け付け部５１１が受け付けた指示によって指定される撮像画像５２１を、画面上に表示する（ステップ６０２）。
図７は、表示された撮像画像５２１の例を示している。長方形の撮像画像７０１は、立方体の立体構造物の側面に対応している。
図８は、図７の撮像画像７０１に写っている立体構造物のモデルファイル５２２が表す３次元ＣＡＤモデルの例を示している。モデルファイル５２２の頂点情報は、立方体の頂点８０１等の識別情報と３次元座標とを含み、線分情報は、線分８０２、線分８０３等の識別情報と両端の頂点を示す識別情報とを含む。
次に、制御部５１２は、エッジ検出処理を行って、撮像画像５２１からエッジ線を抽出し（ステップ６０３）、抽出したエッジ線を画面上に表示する（ステップ６０４）。このとき、制御部５１２は、直線のエッジ線のみを抽出してもよく、直線及び曲線のエッジ線を抽出してもよい。
図９は、図７の撮像画像７０１から抽出されたエッジ線の例を示している。エッジ線９０１〜エッジ線９０４は、撮像画像７０１の長方形の４辺からそれぞれ抽出される。
次に、制御部５１２は、モデルファイル５２２の頂点情報及び線分情報を用いて、３次元ＣＡＤモデルの稜線を生成する（ステップ６０５）。制御部５１２は、例えば、線分情報に含まれる複数の線分の中から、３次元ＣＡＤモデルの外形特徴を表す線分のみを抽出し、抽出した線分を稜線として用いることができる。
図１０は、図８の３次元ＣＡＤモデルから生成された稜線の例を示している。図８の線分８０２は、立方体の辺に対応し、外形特徴を表すため、稜線１００１として抽出される。一方、線分８０３は、立方体の側面に含まれ、外形特徴を表していないため、稜線として抽出されない。
次に、制御部５１２は、生成した稜線で囲まれる面を表すポリゴンを生成し、生成した稜線及びポリゴンの情報を、モデル画像５２３として記憶部５１４に格納する（ステップ６０６）。生成されたポリゴンは、３次元ＣＡＤモデルの表面の一部を表している。
図１１は、図１０の稜線から生成されたポリゴンの例を示している。ポリゴン１１０１は、立方体の４辺に対応する４本の稜線で囲まれた長方形の側面を表す。
次に、制御部５１２は、撮像画像５２１とともに、モデル画像５２３を画面上に表示する（ステップ６０７）。これにより、撮像画像５２１から抽出されたエッジ線とともに、モデル画像５２３に含まれる稜線及びポリゴンが表示され、画面上でエッジ線と稜線とが選択可能な状態になる。このとき、制御部５１２は、変更指示を撮像画像５２１とモデル画像５２３とに対して別々に受け付けることを示す変更情報５２６を生成して、記憶部５１４に格納する。
図１２は、図１０の稜線及び図１１のポリゴンを用いて表示されるモデル画像５２３の例を示している。この例では、図９のエッジ線９０１〜エッジ線９０４とともに、立方体のモデル画像１２０１が表示されている。モデル画像１２０１として、稜線だけでなくポリゴンも表示することで、３次元ＣＡＤモデルの背面側の稜線をポリゴンで覆い隠して非表示にすることができ、３次元ＣＡＤモデルの外形が把握しやくなる。
次に、作業者は、画面上のモデル画像５２３の大きさが適切であるか否かを確認する（ステップ６０８）。作業者は、例えば、モデル画像５２３の大きさが、撮像画像５２１のエッジ線とモデル画像５２３の稜線との対応関係を把握するのに適切な大きさである場合に、モデル画像５２３の大きさが適切であると判断する。
モデル画像５２３の大きさが適切でない場合（ステップ６０８，ＮＯ）、作業者は、モデル画像５２３の拡大又は縮小を示す変更指示を入力し、受け付け部５１１は、入力された変更指示を受け付ける（ステップ６１１）。そして、制御部５１２は、変更指示に従ってモデル画像５２３を拡大又は縮小することで、モデル画像５２３の大きさを調整する。制御部５１２は、例えば、稜線及びポリゴンの拡大率又は縮小率を変更することで、モデル画像５２３を拡大又は縮小することができる。
図１３は、図１２に示したモデル画像１２０１の大きさの調整の例を示している。この例では、モデル画像１２０１が拡大されている。
モデル画像５２３の大きさが適切である場合（ステップ６０８，ＹＥＳ）、作業者は、画面上のモデル画像５２３の向きが適切であるか否かを確認する（ステップ６０９）。作業者は、例えば、モデル画像５２３の向きが、撮像画像５２１のエッジ線とモデル画像５２３の稜線との対応関係を把握するのに適切な向きである場合に、モデル画像５２３の向きが適切であると判断する。
モデル画像５２３の向きが適切でない場合（ステップ６０９，ＮＯ）、作業者は、モデル画像５２３の回転を示す変更指示を入力し、受け付け部５１１は、入力された変更指示を受け付ける（ステップ６１２）。そして、制御部５１２は、変更指示に従ってモデル画像５２３を回転させることで、モデル画像５２３の向きを調整する。制御部５１２は、例えば、稜線及びポリゴンの回転角度を変更することで、モデル画像５２３を回転させることができる。
図１４は、図１３に示したモデル画像１２０１の向きの調整の例を示している。この例では、モデル画像１２０１が反時計回りに回転している。
モデル画像５２３の向きが適切である場合（ステップ６０９，ＹＥＳ）、作業者は、画面上のモデル画像５２３の位置が適切であるか否かを確認する（ステップ６１０）。作業者は、例えば、モデル画像５２３の位置が、撮像画像５２１のエッジ線とモデル画像５２３の稜線との対応関係を把握するのに適切な位置である場合に、モデル画像５２３の位置が適切であると判断する。
モデル画像５２３の位置が適切でない場合（ステップ６１０，ＮＯ）、作業者は、モデル画像５２３の移動を示す変更指示を入力し、受け付け部５１１は、入力された変更指示を受け付ける（ステップ６１３）。そして、制御部５１２は、変更指示に従ってモデル画像５２３を移動させることで、モデル画像５２３の位置を調整する。制御部５１２は、例えば、稜線及びポリゴンの位置を変更することで、モデル画像５２３を移動させることができる。
図１５は、図１４に示したモデル画像１２０１の位置の調整の例を示している。この例では、モデル画像１２０１が上方へ移動している。
モデル画像５２３の位置が適切である場合（ステップ６１０，ＹＥＳ）、作業者は、重畳表示における基準位置となるエッジ線及び稜線を示す選択指示を入力し、受け付け部５１１は、入力された選択指示を受け付ける（ステップ６１４）。そして、制御部５１２は、選択指示が示すエッジ線及び稜線の色、太さ、線種等を変更することで、そのエッジ線及び稜線を強調して表示する。エッジ線及び稜線を強調して表示することで、作業者は、選択結果を容易に確認することができる。
このとき、制御部５１２は、そのエッジ線と稜線との間を結ぶ線分を表示してもよい。エッジ線と稜線との間を結ぶ線分を表示することで、作業者による選択結果の確認作業がさらに効率化される。
図１６は、図１５に示した画面において選択されたエッジ線及び稜線の例を示している。この例では、エッジ線９０１及び稜線１６０１が選択され、エッジ線９０１と稜線１６０１とを結ぶ線分１６１１が表示されている。
次に、作業者は、強調されたエッジ線及び稜線の組み合わせが適切であるか否かを確認する（ステップ６１５）。作業者は、例えば、強調されたエッジ線と稜線とが、立体構造物の同じ稜線に対応している場合に、その組み合わせが適切であると判断する。
組み合わせが適切でない場合（ステップ６１５，ＮＯ）、作業者は、選択した組み合わせを解除する指示を入力し、受け付け部５１１は、入力された指示を受け付ける（ステップ６２２）。そして、制御部５１２は、エッジ線及び稜線を強調する強調表示を解除する。このとき、制御部５１２は、そのエッジ線と稜線との間を結ぶ線分を非表示にする。
図１７は、解除されたエッジ線及び稜線の例を示している。この例では、選択されたエッジ線９０３及び稜線１７０１の組み合わせが解除され、エッジ線９０３と稜線１７０１とを結ぶ線分１７０２が非表示に変更されている。
次に、作業者は、ステップ６１４以降の操作を繰り返し、組み合わせが適切である場合（ステップ６１５，ＹＥＳ）、重ね合わせる対象のＮ個の組み合わせを選択したか否かを確認する（ステップ６１６）。Ｎは１以上の整数である。Ｎが小さいほど、作業者の作業時間は短くなるが、重畳表示の精度は低下する。一方、Ｎが大きいほど、作業者の作業時間は長くなるが、重畳表示の精度は向上する。Ｎは１〜４のいずれかであってもよい。
Ｎ個の組み合わせを選択していない場合（ステップ６１６，ＮＯ）、作業者は、ステップ６１４以降の操作を繰り返し、Ｎ個の組み合わせを選択した場合（ステップ６１６，ＹＥＳ）、重畳指示を入力する（ステップ６１７）。受け付け部５１１は、入力された重畳指示を受け付け、制御部５１２は、選択されたＮ個の組み合わせを表す組み合わせ情報５２４を生成して、記憶部５１４に格納する。
図１８は、エッジ線及び稜線の４個の組み合わせの例を示している。この例では、エッジ線９０１及び稜線１６０１の組み合わせと、エッジ線９０２及び稜線１６０２の組み合わせと、エッジ線９０３及び稜線１６０３の組み合わせと、エッジ線９０４及び稜線１６０４の組み合わせとが選択されている。そして、エッジ線９０１と稜線１６０１とを結ぶ線分１６１１と、エッジ線９０２と稜線１６０２とを結ぶ線分１６１２と、エッジ線９０３と稜線１６０３とを結ぶ線分１６１３と、エッジ線９０４と稜線１６０４とを結ぶ線分１６１４とが表示されている。
図１９は、組み合わせ情報５２４の例を示している。図１９の組み合わせ情報５２４の各エントリは、エッジ線ＩＤ、稜線ＩＤ、及び優先順位を含む。エッジＩＤは、組み合わせに含まれるエッジ線の識別情報であり、稜線ＩＤは、組み合わせに含まれる稜線の識別情報であり、優先順位は、所定の基準に基づいて決定された組み合わせの優先度を表す。
例えば、作業者がエッジ線及び稜線の組み合わせを選択した順序を、そのまま優先順位として決定してもよく、稜線の信頼度が高い順に優先順位を決定してもよい。例えば、立体構造物の部材の稜線のうち、加工精度又は組立精度の高い稜線の信頼度は高く、加工精度又は組立精度の低い稜線の信頼度は低くなる。この場合、モデルファイル５２２の線分情報に、それぞれの線分の信頼度を示す情報が付加され、制御部５１２は、選択された稜線の信頼度を参照して、組み合わせの優先順位を決定する。
Ｅ１〜Ｅ４は、図１８のエッジ線９０１〜エッジ線９０４のエッジ線ＩＤであり、Ｌ１〜Ｌ４は、稜線１６０１〜稜線１６０４の稜線ＩＤである。Ｅ１及びＬ１の組み合わせの優先順位が最も高く、Ｅ４及びＬ４の組み合わせの優先順位が最も低い。
次に、制御部５１２は、組み合わせ情報５２４の各組み合わせに含まれるエッジ線と稜線とが重なるようにモデル画像５２３を撮像画像５２１に重畳した重畳画像５２５を生成して、記憶部５１４に格納する（ステップ６１８）。制御部５１２は、例えば、モデル画像５２３の稜線及びポリゴンの拡大率又は縮小率、回転角度、及び位置を調整することで、モデル画像５２３を撮像画像５２１に重畳することができる。
なお、Ｎが２以上である場合、複数の組み合わせそれぞれに含まれるエッジ線と稜線とがすべて一致することは稀である。この場合、制御部５１２は、稜線及びポリゴンの拡大率又は縮小率、回転角度、及び位置の最適値を計算することで、それぞれのエッジ線と稜線とが適度に重なり合った重畳画像５２５を生成する。
次に、制御部５１２は、エッジ線及び稜線を強調する強調表示を解除するとともに、エッジ線を非表示にする（ステップ６１９）。このとき、制御部５１２は、エッジ線と稜線との間を結ぶ線分も非表示にする。
次に、制御部５１２は、重畳画像５２５を画面上に表示する（ステップ６２０）。このとき、制御部５１２は、組み合わせ情報５２４の各組み合わせに含まれるエッジ線及び稜線の色、太さ、線種等を変更することで、そのエッジ線及び稜線を強調して表示してもよい。エッジ線及び稜線を強調して表示することで、作業者は、重畳表示により重ね合わせられたエッジ線及び稜線を容易に確認することができる。そして、制御部５１２は、記憶部５１４内の変更情報５２６を、撮像画像５２１とモデル画像５２３とに共通して変更指示を受け付けることを示す情報に切り替える。
図２０は、図７の撮像画像７０１に図１２のモデル画像１２０１を重畳した重畳画像５２５の例を示している。
作業者は、画面上の重畳画像５２５を見て、撮像画像５２１とモデル画像５２３との間のずれを確認する。このとき、作業者は、所望の箇所のずれを確認するために、重畳画像５２５に対する変更指示を入力し、受け付け部５１１は、変更情報５２６に従って、入力された変更指示を撮像画像５２１とモデル画像５２３とに共通して受け付ける（ステップ６２１）。そして、制御部５１２は、変更指示に従って重畳画像５２５全体を拡大、縮小、回転、又は移動することで、重畳画像５２５の大きさ、向き、又は位置を調整する。
このような重畳表示処理によれば、１つの画面上に表示された撮像画像５２１のエッジ線とモデル画像５２３の稜線とを選択するだけで、選択したエッジ線と稜線とが重なった重畳画像５２５が自動的に表示される。したがって、立体構造物の撮像画像５２１とその３次元ＣＡＤモデルのモデル画像５２３とのずれを瞬時に確認することができ、立体構造物と３次元ＣＡＤモデルとを比較する確認作業が効率化される。また、熟練作業者でなくても、精度の高い診断を短時間で行うことが可能になる。
図２１は、別の撮像画像５２１に対する重畳表示処理の例を示している。まず、立体構造物の撮像画像２１０１から、エッジ検出処理によってエッジ線２１０２が抽出され、撮像画像２１０１及びエッジ線２１０２とともに、立体構造物の３次元ＣＡＤモデルから生成されたモデル画像２１０３が表示される。
次に、作業者から入力された選択指示に従って、撮像画像２１０１のエッジ線２１１１及びモデル画像２１０３の稜線２１２１の組み合わせが強調表示される。さらに、エッジ線２１１２及び稜線２１２２の組み合わせと、エッジ線２１１３及び稜線２１２３の組み合わせと、エッジ線２１１４及び稜線２１２４の組み合わせとが強調表示される。そして、エッジ線２１１１と稜線２１２１とを結ぶ線分２１３１と、エッジ線２１１２と稜線２１２２とを結ぶ線分２１３２と、エッジ線２１１３と稜線２１２３とを結ぶ線分２１３３と、エッジ線２１１４と稜線２１２４とを結ぶ線分２１３４とが表示される。
これらの４個の組み合わせが選択された後、エッジ線２１１１〜エッジ線２１１４と稜線２１２１〜稜線２１２４とがそれぞれ重なるように、モデル画像２１０３を撮像画像２１０１に重畳した、重畳画像２１０４が表示される。
図２２は、図６Ｂの重畳表示処理に続いて行われる調製処理の例を示すフローチャートである。この調整処理では、組み合わせ情報５２４に含まれる優先順位に基づいて、重畳画像５２５に含まれる撮像画像５２１又はモデル画像５２３の大きさ、向き、又は位置が調整される。
まず、作業者は、画面上の重畳画像５２５を見て、撮像画像５２１とモデル画像５２３とがずれているか否かを確認する（ステップ２２０１）。撮像画像５２１とモデル画像５２３とがずれていない場合（ステップ２２０１，ＮＯ）、作業者は、確認作業を終了する。
一方、撮像画像５２１とモデル画像５２３とがずれている場合（ステップ２２０１，ＹＥＳ）、作業者は、重畳画像５２５に対する調整指示を入力し、受け付け部５１１は、入力された調整指示を受け付ける。そして、制御部５１２は、調整指示に応じて、優先順位を示す制御変数ｉに１を設定する（ステップ２２０２）。
次に、制御部５１２は、組み合わせ情報５２４の優先順位ｉのエントリを選択し、選択したエントリからエッジ線ＩＤ及び稜線ＩＤを取得し、取得したエッジ線ＩＤ及び稜線ＩＤが示すエッジ線及び稜線を強調して表示する（ステップ２２０３）。そして、作業者は、強調されたエッジ線及び稜線の組み合わせを基準として調整を行うか否かを判断する。
強調されたエッジ線及び稜線の組み合わせを基準として調整を行う場合（ステップ２２０３，ＹＥＳ）、作業者は、実行指示を入力し、受け付け部５１１は、入力された実行指示を受け付ける。そして、制御部５１２は、実行指示に従って、強調したエッジ線と稜線とが一致するようにモデル画像５２３を拡大、縮小、回転、又は移動することで、重畳画像５２５を調整する（ステップ２２０４）。
次に、制御部５１２は、ｉがＮに達したか否をチェックする（ステップ２２０５）。ｉがＮに達していない場合（ステップ２２０５，ＮＯ）、制御部５１２は、ｉを１だけインクリメントして（ステップ２２０６）、ステップ２２０３以降の処理を繰り返す。一方、ｉがＮに達している場合（ステップ２２０５，ＹＥＳ）、制御部５１２は、処理を終了する。
このような調整処理によれば、撮像画像５２１とモデル画像５２３とがずれている場合に、撮像画像５２１及びモデル画像５２３の基準位置を変更しながら、撮像画像５２１とモデル画像５２３とのずれを詳細に確認することができる。
図２３は、図２１の重畳画像２１０４に対する調整処理の例を示している。この場合、エッジ線及び稜線の組み合わせの優先順位は、以下の通りである。
優先順位１：エッジ線２１１１及び稜線２１２１
優先順位２：エッジ線２１１２及び稜線２１２２
優先順位３：エッジ線２１１３及び稜線２１２３
優先順位４：エッジ線２１１４及び稜線２１２４
モデル画像２１０３を撮像画像２１０１に重畳した重畳画像２１０４が表示された後、作業者が優先順位１又は優先順位２の組み合わせを基準として指定した場合、画面上で重畳画像２１０４が重畳画像２３０１のように変更される。優先順位１の組み合わせが指定された場合、エッジ線２１１１と稜線２１２１とが一致する重畳画像２３０１が表示され、優先順位２の組み合わせが指定された場合、エッジ線２１１２と稜線２１２２とが一致する重畳画像２３０１が表示される。
次に、作業者が優先順位３の組み合わせを基準として指定した場合、画面上で重畳画像２３０１が重畳画像２３０２のように変更される。この場合、エッジ線２１１３と稜線２１２３とが一致する重畳画像２３０２が表示される。
次に、作業者が優先順位４の組み合わせを基準として指定した場合、画面上で重畳画像２３０２が重畳画像２３０３のように変更される。この場合、エッジ線２１１４と稜線２１２４とが一致する重畳画像２３０３が表示される。
図１の重畳表示装置１０１、図３の重畳表示装置３０１、及び図５の重畳表示装置５０１の構成は一例に過ぎず、重畳表示装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、変更指示の受け付け方法を切り替えない場合、図５の変更情報５２６を省略することができ、重ね合わせる対象のエッジ線と稜線とを示す選択指示を作業者が入力しない場合、組み合わせ情報５２４を省略することができる。
図２、図４、図６Ａ、図６Ｂ、及び図２２のフローチャートは一例に過ぎず、重畳表示装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図６Ａ及び図６Ｂの重畳表示処理において、モデル画像５２３のポリゴンを表示する必要がない場合、ステップ６０６の処理を省略することができる。モデル画像５２３の大きさ、向き、及び位置を調整する必要がない場合、ステップ６０８〜ステップ６１３の処理を省略することができる。
選択したエッジ線及び稜線の組み合わせが適切であるか否かを確認する必要がない場合、ステップ６１５及びステップ６２２の処理を省略することができる。画面上の重畳画像５２５を変更する必要がない場合、ステップ６２１の処理を省略することができる。重ね合わせる対象のエッジ線と稜線とを示す選択指示を作業者が入力しない場合、ステップ６０８〜ステップ６１７の処理を省略することができる。
ステップ６０２〜ステップ６０４の処理とステップ６０５〜ステップ６０７の処理の順序を入れ替えてもよい。ステップ６１４及びステップ６２０において、制御部５１２は、選択されたエッジ線及び稜線を強調しなくてもよい。
図７〜図２１及び図２３の撮像画像、モデル情報、エッジ線、稜線、ポリゴン、モデル画像、重畳画像、及び組み合わせ情報は一例に過ぎず、別の画像又は情報を用いてもよい。
図１の重畳表示装置１０１、図３の重畳表示装置３０１、及び図５の重畳表示装置５０１は、例えば、図２４に示すような情報処理装置（コンピュータ）を用いて実現可能である。図２４の情報処理装置は、Central Processing Unit（ＣＰＵ）２４０１、メモリ２４０２、入力装置２４０３、出力装置２４０４、補助記憶装置２４０５、媒体駆動装置２４０６、及びネットワーク接続装置２４０７を備える。これらの構成要素はバス２４０８により互いに接続されている。
メモリ２４０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ２４０２は、図５の記憶部５１４として用いることができる。
ＣＰＵ２４０１（プロセッサ）は、例えば、メモリ２４０２を利用してプログラムを実行することにより、図３の制御部３１３及び図５の制御部５１２として動作する。
入力装置２４０３は、例えば、キーボード、ポインティングデバイス等であり、作業者からの指示又は情報の入力に用いられる。入力装置２４０３は、図１の受け付け部１１２、図３の受け付け部３１２、及び図５の受け付け部５１１として用いることができる。
出力装置２４０４は、例えば、表示装置、プリンタ、スピーカ等であり、作業者への問い合わせ又は処理結果の出力に用いられる。処理結果は、重畳画像５２５であってもよい。出力装置２４０４は、図１の表示部１１１、図３の表示部３１１、及び図５の表示部５１３として用いることができる。
補助記憶装置２４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２４０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２４０５にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。補助記憶装置２４０５は、図５の記憶部５１４として用いることができる。
媒体駆動装置２４０６は、可搬型記録媒体２４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２４０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。作業者は、この可搬型記録媒体２４０９にプログラム及びデータを格納しておき、それらをメモリ２４０２にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２４０２、補助記憶装置２４０５、又は可搬型記録媒体２４０９のような、物理的な（非一時的な）記録媒体である。
ネットワーク接続装置２４０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２４０７を介して受け取り、それらをメモリ２４０２にロードして使用することができる。
なお、情報処理装置が図２４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、他の装置との通信を行う必要がない場合は、ネットワーク接続装置２４０７を省略してもよく、可搬型記録媒体２４０９を利用しない場合は、媒体駆動装置２４０６を省略してもよい。
情報処理装置が通話機能を有する携帯端末装置である場合、マイク及びスピーカのような通話用の装置を含んでいてもよく、カメラのような撮像装置を含んでいてもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図１乃至図２４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジと、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
処理をコンピュータが実行することを特徴とする重畳表示方法。
（付記２）
前記重ね合わせる対象は、エッジ線と稜線との複数の組み合わせを含み、前記複数の組み合わせの各々は、１本のエッジ線と１本の稜線とを含み、前記コンピュータは、前記複数の組み合わせの各々に含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする付記１記載の重畳表示方法。
（付記３）
前記選択指示は、前記複数の組み合わせそれぞれの優先順位を含み、前記コンピュータは、前記複数の組み合わせの中から前記優先順位に従って１つの組み合わせを順番に選択し、選択した組み合わせに含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする付記２記載の重畳表示方法。
（付記４）
前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線との間を結ぶ線分を表示することを特徴とする付記１乃至３のいずれか１項に記載の重畳表示方法。
（付記５）
前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調して表示することを特徴とする付記１乃至４のいずれか１項に記載の重畳表示方法。
（付記６）
前記コンピュータは、前記重畳画像を表示するとき、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調する強調表示を解除することを特徴とする付記５記載の重畳表示方法。
（付記７）
前記コンピュータは、前記重畳画像を表示するとき、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調して表示することを特徴とする付記１乃至６のいずれか１項に記載の重畳表示方法。
（付記８）
撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
処理をコンピュータが実行することを特徴とする重畳表示方法。
（付記９）
表示部と受け付け部とを備える重畳表示装置であって、
前記表示部は、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
前記受け付け部は、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
前記表示部は、前記受け付け部が受け付けた前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
ことを特徴とする重畳表示装置。
（付記１０）
撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示する表示部と、
前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける受け付け部と、
前記受け付け部が前記重畳画像を表示させる前記指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える制御部と、
を備えることを特徴とする重畳表示装置。
（付記１１）
撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
処理をコンピュータに実行させる重畳表示プログラム。
（付記１２）
撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
処理をコンピュータに実行させる重畳表示プログラム。
１０１、３０１、５０１ 重畳表示装置
１１１、３１１、５１３ 表示部
１１２、３１１、５１１ 受け付け部
３１３、５１２ 制御部
５１４ 記憶部
５２１、７０１、２１０１ 撮像画像
５２２ モデルファイル
５２３、１２０１、２１０３ モデル画像
５２４ 組み合わせ情報
５２５、２１０４、２３０１〜２３０３ 重畳画像
５２６ 変更情報
８０１ 頂点
８０２、８０３、１６１１〜１６１４、１７０２、２１３１〜２１３４ 線分
９０１〜９０４、２１０２、２１１１〜２１１４ エッジ線
１００１、１６０１〜１６０４、１７０１、２１２１〜２１２４ 稜線
１１０１ ポリゴン
２４０１ ＣＰＵ
２４０２ メモリ
２４０３ 入力装置
２４０４ 出力装置
２４０５ 補助記憶装置
２４０６ 媒体駆動装置
２４０７ ネットワーク接続装置
２４０８ バス
２４０９ 可搬型記録媒体

Claims (10)

  1. 撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
    重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
    前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
    処理をコンピュータが実行することを特徴とする重畳表示方法。
  2. 前記重ね合わせる対象は、エッジ線と稜線との複数の組み合わせを含み、前記複数の組み合わせの各々は、１本のエッジ線と１本の稜線とを含み、前記コンピュータは、前記複数の組み合わせの各々に含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする請求項１記載の重畳表示方法。
  3. 前記選択指示は、前記複数の組み合わせそれぞれの優先順位を含み、前記コンピュータは、前記複数の組み合わせの中から前記優先順位に従って１つの組み合わせを順番に選択し、選択した組み合わせに含まれるエッジ線と稜線とが重なるように、前記モデル画像を前記撮像画像に重畳することを特徴とする請求項２記載の重畳表示方法。
  4. 前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線との間を結ぶ線分を表示することを特徴とする請求項１乃至３のいずれか１項に記載の重畳表示方法。
  5. 前記コンピュータは、前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とを強調して表示することを特徴とする請求項１乃至４のいずれか１項に記載の重畳表示方法。
  6. 撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
    前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
    処理をコンピュータが実行することを特徴とする重畳表示方法。
  7. 表示部と受け付け部とを備える重畳表示装置であって、
    前記表示部は、撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
    前記受け付け部は、重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
    前記表示部は、前記受け付け部が受け付けた前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
    ことを特徴とする重畳表示装置。
  8. 撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示する表示部と、
    前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける受け付け部と、
    前記受け付け部が前記重畳画像を表示させる前記指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える制御部と、
    を備えることを特徴とする重畳表示装置。
  9. 撮像装置により立体構造物を撮像した撮像画像から抽出されたエッジ線と、前記立体構造物のモデル情報が表すモデル画像に含まれる稜線とを、選択可能な状態で表示し、
    重ね合わせる対象のエッジ線と稜線とを示す選択指示を受け付け、
    前記選択指示に応じて、前記重ね合わせる対象の前記エッジ線と前記稜線とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示する、
    処理をコンピュータに実行させる重畳表示プログラム。
  10. 撮像装置により立体構造物を撮像した撮像画像と、前記立体構造物のモデル情報が表すモデル画像とを表示し、
    前記撮像画像の基準位置と前記モデル画像の基準位置とが重なるように前記モデル画像を前記撮像画像に重畳した重畳画像を表示させる指示を受け付ける前後において、拡大又は縮小又は移動又は回転を示す変更指示を前記撮像画像と前記モデル画像とに対して別々に受け付けるか、又は前記変更指示を前記撮像画像と前記モデル画像とに共通して受け付けるかを切り替える、
    処理をコンピュータに実行させる重畳表示プログラム。
JP2015218318A 2015-11-06 2015-11-06 重畳表示方法、重畳表示装置、及び重畳表示プログラム Active JP6661980B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015218318A JP6661980B2 (ja) 2015-11-06 2015-11-06 重畳表示方法、重畳表示装置、及び重畳表示プログラム
US15/291,161 US10304159B2 (en) 2015-11-06 2016-10-12 Superimposed display method and superimposed display apparatus
EP18157139.9A EP3340189A1 (en) 2015-11-06 2016-10-19 Superimposed display method and superimposed display apparatus
EP16194556.3A EP3166083B1 (en) 2015-11-06 2016-10-19 Superimposed display method and superimposed display apparatus
MYPI2016703920A MY190811A (en) 2015-11-06 2016-10-26 Superimposed display method and superimposed display apparatus
CN201610971866.6A CN107016726B (zh) 2015-11-06 2016-10-28 叠加显示方法和叠加显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015218318A JP6661980B2 (ja) 2015-11-06 2015-11-06 重畳表示方法、重畳表示装置、及び重畳表示プログラム

Publications (2)

Publication Number Publication Date
JP2017091078A true JP2017091078A (ja) 2017-05-25
JP6661980B2 JP6661980B2 (ja) 2020-03-11

Family

ID=57280960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015218318A Active JP6661980B2 (ja) 2015-11-06 2015-11-06 重畳表示方法、重畳表示装置、及び重畳表示プログラム

Country Status (5)

Country Link
US (1) US10304159B2 (ja)
EP (2) EP3340189A1 (ja)
JP (1) JP6661980B2 (ja)
CN (1) CN107016726B (ja)
MY (1) MY190811A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019027855A (ja) * 2017-07-27 2019-02-21 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
EP3467764A1 (en) 2017-09-29 2019-04-10 Fujitsu Limited Image processing method and image processing apparatus
JP2019106008A (ja) * 2017-12-12 2019-06-27 富士通株式会社 推定装置、推定方法、及び推定プログラム
JP2019159375A (ja) * 2018-03-07 2019-09-19 富士通株式会社 情報処理装置，重畳表示プログラム，重畳表示方法
JP2020003995A (ja) * 2018-06-27 2020-01-09 富士通株式会社 表示制御方法、情報処理装置及び表示制御プログラム
JP2020194482A (ja) * 2019-05-30 2020-12-03 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US10997702B2 (en) 2018-03-14 2021-05-04 Fujitsu Patent Center Inspection apparatus, inspection method, and computer readable recording medium storing inspection program
US11010634B2 (en) 2018-07-26 2021-05-18 Fujitsu Limited Measurement apparatus, measurement method, and computer-readable recording medium storing measurement program
WO2022224447A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 制御装置、制御方法及び記憶媒体
JP7470511B2 (ja) 2019-12-17 2024-04-18 荏原環境プラント株式会社 情報処理システム、情報処理方法、情報処理プログラム
US12038279B2 (en) 2017-07-27 2024-07-16 Obayashi Corporation Inspection processing system, inspection processing method, and inspection processing program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699165B2 (en) 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
JP7059701B2 (ja) * 2018-03-08 2022-04-26 富士通株式会社 推定装置、推定方法、及び推定プログラム
JP7180283B2 (ja) * 2018-10-30 2022-11-30 富士通株式会社 画像処理装置及び画像処理方法
US11138759B2 (en) 2018-12-13 2021-10-05 Fujitsu Limited Image processing apparatus and image processing method
US11443495B2 (en) * 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
CN109800736B (zh) * 2019-02-01 2023-07-21 东北大学 一种基于遥感影像和深度学习的道路提取方法
US11657506B2 (en) * 2019-03-06 2023-05-23 General Electric Company Systems and methods for autonomous robot navigation
JP7379052B2 (ja) * 2019-09-30 2023-11-14 キヤノン株式会社 表示制御装置、方法及びプログラム
CN111766423A (zh) * 2020-09-02 2020-10-13 深圳市鼎阳科技股份有限公司 一种示波器的信号显示方法及示波器
JP7513496B2 (ja) * 2020-10-30 2024-07-09 株式会社エビデント 画像表示方法、表示制御装置、およびプログラム
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2106146A1 (en) * 1992-10-16 1994-04-17 Peter R. Doherty, Jr. Video-cad comparator system
JP3415427B2 (ja) 1998-02-25 2003-06-09 富士通株式会社 ロボットシミュレーションにおけるキャリブレーション装置
JP3596753B2 (ja) * 2000-05-10 2004-12-02 株式会社ミツトヨ 画像測定装置用パートプログラム生成装置及び方法
JP4727068B2 (ja) 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
US7076093B2 (en) * 2002-09-16 2006-07-11 Lee Shih-Jong J Structure-guided image inspection
JP2005339127A (ja) 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
JP2006072543A (ja) * 2004-08-31 2006-03-16 Canon Inc 面選択方法、属性情報設定方法および情報処理装置
JP4434890B2 (ja) * 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
JP4764663B2 (ja) * 2005-05-30 2011-09-07 富士通株式会社 仮想３次元座標空間における幾何形状の自動認識方法、その３次元ｃａｄシステム及び３次元ｃａｄプログラム
EP1804154A3 (en) * 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods
DE102006005044B4 (de) * 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
JP2007280354A (ja) * 2006-03-16 2007-10-25 Ricoh Co Ltd 三次元形状処理装置、三次元形状処理方法、三次元形状処理プログラム、記録媒体、パーツカタログ・システム、パーツカタログ作成方法、及びプログラム
EP1993072A1 (en) 2007-05-18 2008-11-19 Siemens Aktiengesellschaft Method for comparison of 3D computer model and as-built situation of an industrial plant
JP5408852B2 (ja) * 2007-08-09 2014-02-05 株式会社日立ハイテクノロジーズ パターン測定装置
JP5561975B2 (ja) * 2009-03-09 2014-07-30 カルソニックカンセイ株式会社 表面加工データの作成方法および装置
JP5245938B2 (ja) 2009-03-12 2013-07-24 オムロン株式会社 ３次元認識結果の表示方法および３次元視覚センサ
JP5293501B2 (ja) * 2009-08-26 2013-09-18 富士通株式会社 ３次元データ表示装置およびプログラム
CN101794189A (zh) * 2009-09-22 2010-08-04 俞长根 图像显示方法
JP2011180066A (ja) 2010-03-03 2011-09-15 Horon:Kk 画像比較方法および画像比較プログラム
US9268322B2 (en) * 2010-11-04 2016-02-23 Mitsubishi Electric Corporation Method and apparatus for creating numerical control machining program and program for causing computer to implement same method
JP2012203458A (ja) 2011-03-23 2012-10-22 Fuji Xerox Co Ltd 画像処理装置及びプログラム
US8780223B2 (en) * 2011-03-31 2014-07-15 VISIONx INC. Automatic determination of compliance of a part with a reference drawing
JP5791976B2 (ja) 2011-06-16 2015-10-07 オリンパス株式会社 画像処理装置、画像処理方法、およびプログラム
US20130050207A1 (en) 2011-08-24 2013-02-28 General Electric Company Method and system for navigating, segmenting, and extracting a three-dimensional image
JP2013167481A (ja) 2012-02-14 2013-08-29 Olympus Corp 画像処理装置およびプログラム
DE102012003256A1 (de) 2012-02-21 2013-08-22 Testo Ag Auswerteverfahren für ein ortsauflösendes Messergebnis und Auswerteeinrichtung
EP2933627A4 (en) * 2012-12-17 2016-05-04 Nippon Steel & Sumitomo Metal Corp METHOD FOR ANALYSIS OF POINT WELDING SECTIONS, PROGRAM FOR ANALYSIS OF POINT WELDING SECTIONS, MEMORY MEDIUM AND DEVICE FOR ANALYZING POINT WELDING SECTIONS
US9530250B2 (en) * 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
US10479119B2 (en) * 2014-01-16 2019-11-19 Konica Minolta, Inc. Two-dimensional image-forming apparatus, three-dimensional fabrication apparatus, two-dimensional image-forming method and three-dimensional fabrication method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11094120B2 (en) 2017-07-27 2021-08-17 Obayashi Corporation Inspection processing system, inspection processing method, and inspection processing program
JP2019027855A (ja) * 2017-07-27 2019-02-21 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
US12038279B2 (en) 2017-07-27 2024-07-16 Obayashi Corporation Inspection processing system, inspection processing method, and inspection processing program
EP3467764A1 (en) 2017-09-29 2019-04-10 Fujitsu Limited Image processing method and image processing apparatus
US10796435B2 (en) 2017-09-29 2020-10-06 Fujitsu Limited Image processing method and image processing apparatus
JP2019106008A (ja) * 2017-12-12 2019-06-27 富士通株式会社 推定装置、推定方法、及び推定プログラム
US10930068B2 (en) 2017-12-12 2021-02-23 Fujitsu Limited Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program
JP2019159375A (ja) * 2018-03-07 2019-09-19 富士通株式会社 情報処理装置，重畳表示プログラム，重畳表示方法
US10997702B2 (en) 2018-03-14 2021-05-04 Fujitsu Patent Center Inspection apparatus, inspection method, and computer readable recording medium storing inspection program
JP2020003995A (ja) * 2018-06-27 2020-01-09 富士通株式会社 表示制御方法、情報処理装置及び表示制御プログラム
JP7172179B2 (ja) 2018-06-27 2022-11-16 富士通株式会社 表示制御方法、情報処理装置及び表示制御プログラム
US11010634B2 (en) 2018-07-26 2021-05-18 Fujitsu Limited Measurement apparatus, measurement method, and computer-readable recording medium storing measurement program
JP7265143B2 (ja) 2019-05-30 2023-04-26 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
JP2020194482A (ja) * 2019-05-30 2020-12-03 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
JP7470511B2 (ja) 2019-12-17 2024-04-18 荏原環境プラント株式会社 情報処理システム、情報処理方法、情報処理プログラム
WO2022224447A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 制御装置、制御方法及び記憶媒体

Also Published As

Publication number Publication date
US10304159B2 (en) 2019-05-28
US20170132752A1 (en) 2017-05-11
EP3166083B1 (en) 2021-02-24
EP3166083A2 (en) 2017-05-10
JP6661980B2 (ja) 2020-03-11
CN107016726A (zh) 2017-08-04
EP3166083A3 (en) 2017-09-20
CN107016726B (zh) 2020-11-03
MY190811A (en) 2022-05-12
EP3340189A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
JP6661980B2 (ja) 重畳表示方法、重畳表示装置、及び重畳表示プログラム
JP6314394B2 (ja) 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
US9330466B2 (en) Methods and apparatus for 3D camera positioning using a 2D vanishing point grid
JP2015176516A (ja) 表示装置、表示制御プログラム、および表示制御方法
JP6434476B2 (ja) 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
JP2005149512A (ja) 複数のオブジェクトを選択および操作するための方法およびシステム
JP6426772B2 (ja) 座標情報変換装置及び座標情報変換プログラム
US20180247430A1 (en) Display control method and display control apparatus
JP2019094620A (ja) 橋梁点検支援装置、橋梁点検支援方法、プログラム、モバイル端末装置
JP7114049B2 (ja) 画像処理装置および画像処理用プログラム
JP6753180B2 (ja) 最短経路特定プログラム、最短経路特定方法および情報処理装置
WO2015111262A1 (ja) 画像生成装置及び操作支援システム
JP7334460B2 (ja) 作業支援装置及び作業支援方法
JP6161290B2 (ja) 表示制御装置、表示制御方法及びそのプログラム
JP2013080466A (ja) 文書画像の処理方法及び装置
JP2017182113A (ja) ワーク判定装置及び方法
JP2020123010A (ja) 表示方法及び表示装置
Charoenseang et al. Human–robot collaboration with augmented reality
JP2020135446A (ja) 画像処理装置及び画像処理方法
EP4116933A1 (en) Three-dimensional display device, method, and program
JP6248445B2 (ja) Ｌｓｉ設計装置
JP2011002968A (ja) プログラム、記録媒体及び表示制御装置
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
JP2006301421A (ja) 画像表示システム、画像表示方法、及びプログラム
JP2019159375A (ja) 情報処理装置，重畳表示プログラム，重畳表示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190813

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191009

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6661980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150