JP2021021577A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】物体を撮影した画像を用いて物体の３次元線分を復元する際に、適切な撮影位置を提示する画像処理装置を提供する。【解決手段】記憶部３１１は、物体の形状を表す複数の線分を含む形状情報３２１を記憶する。検出部３１２は、第１の撮影位置から撮影した第１画像から、複数の特徴線を検出する。特定部３１３は、複数の線分それぞれを第１画像上に投影して生成される複数の投影線と、複数の特徴線との位置関係に基づいて、複数の特徴線のうち、物体の形状の不良部分を表す特徴線を特定する。計算部３１４は、第２画像を撮影する第２の撮影位置の候補である複数の候補位置を、第１の撮影位置に基づいて設定するとともに、複数の候補位置それぞれの評価値を計算する。決定部３１５は、複数の候補位置それぞれの評価値に基づいて、複数の候補位置のうち、いずれかの候補位置を決定する。出力部３１６は、決定した候補位置を認知可能な情報を出力する。【選択図】図３

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、拡張現実（Augmented Reality，ＡＲ）技術を用いて画像を表示するシステムが普及してきている。ＡＲ技術の一例では、パーソナルコンピュータ（Personal Computer，ＰＣ）、携帯端末装置等に搭載したカメラを用いて物体が撮影され、物体の画像から３次元空間内におけるカメラの位置及び姿勢が推定される。そして、決定されたカメラの位置及び姿勢を基準にして、画像中の任意の位置にコンテンツ情報が重畳表示される。

製品を製造する現場において、製品の検査は、熟練作業者によって、専用の治具を用いて時間をかけて実施されることが多い。しかし、熟練作業者以外の作業者でも容易に検査を実施することができるようになれば、検査コストを削減することが可能になる。

製品の検査に関連して、対象物を複数のカメラで撮像して得られる画像データから３次元情報を取得し、取得した３次元情報を３次元モデルデータと照合することで、対象物について３次元認識を行う技術が知られている（例えば、特許文献１を参照）。

物体の形状情報に含まれる候補線を画像上に投影した投影線と、画像から検出した特徴線とを対応付けた、所定数の組み合わせを用いて、撮像装置の位置を推定する技術も知られている（例えば、特許文献２を参照）。

撮像画像に写っている対象物の姿勢に類似する姿勢の物体が観察される視点の位置に基づいて、物体の形状情報から得られる線分を絞り込む技術も知られている（例えば、特許文献３を参照）。物体の形状情報に含まれる所定数の候補線と画像から検出した所定数の特徴線とを対応付けた、所定数の組み合わせを表す対応付け情報を複数個生成し、各対応付け情報の誤差に基づいて対応付け結果を決定する技術も知られている（例えば、特許文献４を参照）。

ワーク画像のエッジ位置とそのエッジ位置に対応するマスター画像上の位置との変位量を示す誤差の統計情報を、エッジ位置に沿って表示する技術も知られている（例えば、特許文献５を参照）。

カメラキャリブレーション、線分検出、立体の機械知覚、及び直線対応付けによる姿勢推定等の技術も知られている（例えば、非特許文献１〜非特許文献４を参照）。

特開２０１１−１８５６５０号公報 特開２０１７−１８２３０２号公報 特開２０１９−７０８９８号公報 特開２０１８−５５１９９号公報 特開２０１２−３２３４４号公報

Z. Zhang,"A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, November 2000 R. G. Gioi et al.,"LSD: a Line Segment Detector", Image Processing On Line, 2 (2012), pp.35-55, March 2012 L. G. Roberts,"Machine perception of three-dimensional solids", MIT Lincoln Lab. Rep., TR3315, pp.1-82, May 1963 C. Xu et al.,"Pose Estimation from Line Correspondences: A Complete Analysis and a Series of Solutions", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.39, No.6, pp.1209-1222, June 2017

ＡＲ技術の応用として、現場で製造した製品の３次元形状を表すＣＡＤ（Computer-Aided Design）データを、その製品の画像に重畳表示することで、製造診断が行われることがある。この場合、ＣＡＤデータが表す形状と、製品の形状との間のずれ量を精度良く推定するために、物体を２つの異なる視点から撮影して、それぞれの視点において撮影された画像から特徴線を検出し、検出された特徴線から物体の稜線を復元することが望ましい。

しかしながら、ユーザが技術に詳しくない場合、適切な視点の位置を特定することは困難である。

なお、かかる問題は、ＣＡＤデータを用いて製品の製造診断を行う場合に限らず、他の形状情報を用いて物体の形状を検査する場合においても生ずるものである。

１つの側面において、本発明は、物体を撮影した画像を用いて物体の３次元線分を復元する際に、適切な撮影位置を提示することを目的とする。

１つの案では、画像処理装置は、記憶部、検出部、特定部、計算部、決定部、及び出力部を含む。記憶部は、物体の形状を表す複数の線分を含む形状情報を記憶する。

検出部は、第１の撮影位置から撮像装置によって撮影した物体を含む第１画像から、複数の特徴線を検出する。特定部は、複数の線分それぞれを第１画像上に投影することにより生成される複数の投影線と、複数の特徴線との位置関係に基づいて、複数の特徴線のうち、物体の形状の不良部分を表す特徴線を特定する。

計算部は、物体を含む第２画像を撮像装置によって撮影する第２の撮影位置の候補である複数の候補位置を、第１の撮影位置に基づいて設定するとともに、複数の候補位置それぞれの評価値を計算する。決定部は、複数の候補位置それぞれの評価値に基づいて、複数の候補位置のうち、いずれかの候補位置を決定する。出力部は、決定した候補位置を認知可能な情報を出力する。

実施形態によれば、物体を撮影した画像を用いて物体の３次元線分を復元する際に、適切な撮影位置を提示することができる。

物体の画像上に投影された３Ｄ線分を示す図である。 復元処理を示す図である。 画像処理装置の機能的構成図である。 画像処理のフローチャートである。 画像処理装置の第１の具体例を示す機能的構成図である。 ＣＡＤデータを示す図である。 画面上に表示された画像を示す図である。 対応ペア集合を示す図である。 面積に基づく誤差の計算方法を示す図である。 距離に基づく誤差の計算方法を示す図である。 第２視点の候補位置を示す図である。 物体形状画像を示す図である。 モデル座標系とカメラ座標系を示す図である。 第２視点の候補位置の設定方法を示す図である。 モデル座標系とカメラ座標系との間の角度を示す図である。 評価値Ｑの関数形を示す図である。 第１視点における画像と物体形状画像を示す図である。 第２視点における特徴線を追加した対応ペア集合を示す図である。 ずれ量の計算方法を示す図である。 ずれ量を追加した対応ペア集合を示す図である。 第１視点における画像処理のフローチャートである。 第２視点における画像処理のフローチャートである。 第３視点の推奨位置から観察される物体形状画像を示す図である。 第３視点におけるカメラ座標系を示す図である。 第２視点における画像と物体形状画像を示す図である。 第３視点をユーザに提示する画像処理のフローチャートである。 画像処理装置の第２の具体例を示す機能的構成図である。 誘導情報を示す図である。 誘導情報を表示する画像処理のフローチャートである。 情報処理装置のハードウェア構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
製造診断では、単にＣＡＤデータを画像に重畳表示するだけでなく、ＣＡＤデータが表す形状と一致しない、製品の製造不良部分を強調表示したり、ＣＡＤデータが表す形状と製品の形状との間のずれ量を定量的に表示したりすることが望ましい。

そこで、特許文献２及び特許文献５の技術を組み合わせる方法が考えられる。この方法では、ＣＡＤデータに含まれる３Ｄ線分を製品の画像上に投影した投影線の位置と、画像から検出した特徴線の位置との間の誤差が計算され、計算された誤差を３次元空間内の距離に変換することで、ずれ量が求められる。

しかしながら、３Ｄ線分を画像上に投影すると、画像の奥行き方向の情報が失われるため、ＣＡＤデータが表す形状と製品の形状とがずれている部分を真正面から撮影しない限り、ずれ量の推定値は真のずれ量よりも小さくなる。

図１は、物体の画像上に投影された３Ｄ線分の例を示している。この例では、画像に写っている物体１０１の突出部１１１と、物体１０１に重畳されたＣＡＤデータ１０２の３Ｄ線分との間の真のずれ量は１ｍｍである。しかし、ＣＡＤデータ１０２を画像上に投影した投影線と、画像から検出した特徴線との間の誤差は、画素単位で求められ、画素単位の誤差を３次元空間内の距離に変換して得られるずれ量は、１ｍｍよりも小さくなる。

この場合、ずれ量の推定精度を向上させるために、物体を２つの異なる視点から撮影して、それぞれの視点において撮影された画像から特徴線を検出し、検出された特徴線から物体の稜線を復元することが望ましい。ＣＡＤデータの３Ｄ線分と、復元された稜線との間の３次元のずれ量を直接計算することで、真のずれ量に近い値を求めることができる。

図２は、物体の稜線を復元する復元処理の例を示している。カメラが視点Ｏ１から物体１０１を撮影した画像の画像平面２１１上には、物体１０１上の点Ｐｓを示す点ｐ１ｓと、点Ｐｅを示す点ｐ１ｅとが写っている。また、カメラが視点Ｏ２から物体１０１を撮影した画像の画像平面２１２上には、物体１０１上の点Ｐｓを示す点ｐ２ｓと、点Ｐｅを示す点ｐ２ｅとが写っている。視点Ｏ１及び視点Ｏ２は、カメラ中心（光学中心）に対応する。

画像平面２１１上のエピポールｅ１は、視点Ｏ２を画像平面２１１上に投影した点であり、画像平面２１２上のエピポールｅ２は、視点Ｏ１を画像平面２１２上に投影した点である。物体１０１上の点Ｐｓと点Ｐｅを結ぶ稜線２０１は、画像平面２１１上において、点ｐ１ｓと点ｐ１ｅを結ぶ特徴線２２１として検出され、画像平面２１２上において、点ｐ２ｓと点ｐ２ｅを結ぶ特徴線２２２として検出される。特徴線２２１及び特徴線２２２を用いた幾何学的計算によって、３次元の稜線２０１を復元することができる。

カメラを保持したユーザが視点Ｏ１から物体１０１を撮影した後に、視点Ｏ２まで移動する場合、ユーザの移動距離である視点Ｏ１と視点Ｏ２の距離が小さすぎると、稜線２０１の復元精度が低下する。一方、視点Ｏ１と視点Ｏ２の距離が大きすぎると、自己遮蔽によって視点Ｏ２から稜線２０１が観察されなくなったり、照明光の変動によって画像平面２１２上で特徴線２２２が検出されなくなったりする可能性がある。

しかしながら、ユーザが技術に詳しくない場合、適切な視点Ｏ２の位置が不明なため、不適切な視点Ｏ２から物体１０１を撮影することで、稜線２０１の復元に失敗することがある。稜線２０１の復元に失敗した後、再度移動して撮影を繰り返すと、ユーザの作業負荷が増加し、利便性が損なわれる。

図３は、実施形態の画像処理装置の機能的構成例を示している。図３の画像処理装置３０１は、記憶部３１１、検出部３１２、特定部３１３、計算部３１４、決定部３１５、及び出力部３１６を含む。記憶部３１１は、物体の形状を表す複数の線分を含む形状情報３２１を記憶する。検出部３１２、特定部３１３、計算部３１４、決定部３１５、及び出力部３１６は、形状情報３２１を用いて画像処理を行う。

図４は、図３の画像処理装置３０１が行う画像処理の例を示すフローチャートである。まず、検出部３１２は、第１の撮影位置から撮像装置によって撮影した物体を含む第１画像から、複数の特徴線を検出する（ステップ４０１）。次に、特定部３１３は、複数の線分それぞれを第１画像上に投影することにより生成される複数の投影線と、複数の特徴線との位置関係に基づいて、複数の特徴線のうち、物体の形状の不良部分を表す特徴線を特定する（ステップ４０２）。

次に、計算部３１４は、物体を含む第２画像を撮像装置によって撮影する第２の撮影位置の候補である複数の候補位置を、第１の撮影位置に基づいて設定する（ステップ４０３）。そして、計算部３１４は、複数の候補位置それぞれの評価値を計算する（ステップ４０４）。

次に、決定部３１５は、複数の候補位置それぞれの評価値に基づいて、複数の候補位置のうち、いずれかの候補位置を決定する（ステップ４０５）。そして、出力部３１６は、決定した候補位置を認知可能な情報を出力する（ステップ４０６）。

図３の画像処理装置３０１によれば、物体を撮影した画像を用いて物体の３次元線分を復元する際に、適切な撮影位置を提示することができる。

図５は、図３の画像処理装置３０１の第１の具体例を示している。図５の画像処理装置５０１は、記憶部５１１、画像取得部５１２、特徴線検出部５１３、線分検出部５１４、特定部５１５、計算部５１６、決定部５１７、画像生成部５１８、復元部５１９、及び表示部５２０を含む。

記憶部５１１、特徴線検出部５１３、特定部５１５、計算部５１６、決定部５１７、及び表示部５２０は、図３の記憶部３１１、検出部３１２、特定部３１３、計算部３１４、決定部３１５、及び出力部３１６にそれぞれ対応する。

例えば、画像処理装置５０１は、物体の形状情報を用いてその物体の形状を検査する形状検査において使用される。画像処理装置５０１は、タブレット、ノート型ＰＣ（Personal Computer）、スマートデバイス等の携帯端末装置であってもよい。

記憶部５１１は、ＣＡＤデータ５３１を記憶している。ＣＡＤデータ５３１は、図３の形状情報３２１に対応し、物体の３次元形状を表す複数の頂点の頂点情報と、複数の線分の線分情報とを含む。頂点情報は、物体の各頂点の３次元座標を含み、線分情報は、各線分の両端の頂点を示す識別情報、又は各線分の両端の頂点の３次元座標を含む。ＣＡＤデータ５３１は、ＯＢＪ形式のデータであってもよい。

図６は、ＣＡＤデータ５３１の例を示している。図６のＣＡＤデータ５３１は、ＩＤ、始点、及び終点を含む。ＩＤは、線分の識別情報を表し、始点は、線分の一方の端点の３次元座標を表し、終点は、線分の他方の端点の３次元座標を表す。この例では、３次元座標の単位はｍｍである。

撮像装置５０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、携帯端末装置に搭載されていてもよい。ユーザは、撮像装置５０２を用いて、第１視点から、ＣＡＤデータ５３１が表す物体の画像５３２を撮影する。画像取得部５１２は、撮像装置５０２から画像５３２を取得して、記憶部５１１に格納する。第１視点は、第１の撮影位置の一例であり、画像５３２は、第１画像の一例である。

特徴線検出部５１３は、エッジ検出処理を行って、画像５３２から複数のエッジ線を検出し、検出したエッジ線を特徴線５３３として記憶部５１１に格納する。特徴線検出部５１３は、例えば、非特許文献２の技術を用いて、画像５３２からエッジ線を検出することができる。線分検出部５１４は、ＣＡＤデータ５３１に含まれる複数の線分を検出し、検出した複数の線分を複数の３Ｄ線分５３４として記憶部５１１に格納する。

特定部５１５は、３次元空間内における撮像装置５０２の初期位置及び初期姿勢を設定する。まず、特定部５１５は、ＣＡＤデータ５３１が表す物体を画像５３２上に投影し、表示部５２０は、画像５３２及び物体の形状を画面上に表示する。

図７は、画面上に表示された画像５３２及び物体の形状の例を示している。画面中央には、画像５３２に写っている物体１０１が表示されており、物体１０１上には、物体１０１から検出された特徴線５３３が表示されている。また、物体１０１の左下には、ＣＡＤデータ５３１から検出された３Ｄ線分５３４が投影されており、３Ｄ線分５３４の投影線を用いて、物体の形状７０１が表示されている。

ユーザは、形状７０１の位置及び姿勢が物体１０１と近似するように、画面上で形状７０１の位置及び姿勢を変更する操作を行う。画面上で形状７０１の位置及び姿勢を変更することで、画面に対する視点の位置及び姿勢が変化する。そこで、特定部５１５は、ユーザが決定した形状７０１の位置及び姿勢に対応する視点の位置及び姿勢を、撮像装置５０２の初期位置及び初期姿勢として用いる。

次に、特定部５１５は、形状７０１に含まれる３Ｄ線分のうち、視点から観察されない３Ｄ線分（隠線）を除去する。特定部５１５は、例えば、非特許文献３の技術を用いて、隠線を除去することができる。

特定部５１５は、特許文献３に記載された技術を用いて、撮像装置５０２の初期位置及び初期姿勢を自動的に決定することも可能である。この技術によれば、３次元空間内における複数の視点それぞれから観察される物体の位置及び姿勢を表す姿勢情報と、観察される物体の視点画像と、その視点画像から抽出された特徴量とが、関連付けて記憶部に格納される。そして、撮像装置によって撮影された画像の特徴量と各視点画像の特徴量との間の類似度が計算され、最大の類似度を有する視点画像の姿勢情報が、物体の初期位置及び初期姿勢に決定される。

初期位置及び初期姿勢は、仮の位置及び姿勢であり、第１視点における撮像装置５０２の位置及び姿勢と必ずしも一致しているとは限らない。

次に、ユーザは、画面上に表示されている、３Ｄ線分５３４の投影線及び特徴線５３３の中から、投影線と特徴線の組み合わせをｋ個（ｋは４以上の所定の整数）指定する。特定部５１５は、指定された投影線が表す３Ｄ線分と指定された特徴線との組み合わせ（対応ペア）の集合を、対応ペア集合５３５として記憶部５１１に格納する。

特定部５１５は、特許文献４に記載された技術を用いて、対応ペア集合５３５を自動的に決定することも可能である。この技術によれば、画像から検出された複数の特徴線の中から、所定の条件を満たす複数の特徴線が抽出される。次に、抽出された特徴線と隠線を除去した残りの３Ｄ線分とから、ｋ個の対応ペアが生成され、各対応ペアに含まれる３Ｄ線分の投影線の位置と特徴線の位置との間の誤差の総和が計算される。そして、ｋ個の対応ペアに含まれる３Ｄ線分と特徴線の組み合わせを変更しながら、誤差の総和が繰り返し計算され、誤差の総和が最小となるｋ個の対応ペアが、対応ペア集合５３５に決定される。

図８は、対応ペア集合５３５の例を示している。図８の対応ペア集合５３５は、５個の対応ペアを含み、３Ｄ線分ＩＤ、３Ｄ線分始点、３Ｄ線分終点、第１視点特徴線ＩＤ、第１視点特徴線始点、及び第１視点特徴線終点を含む。

３Ｄ線分ＩＤは、対応ペアに含まれる３Ｄ線分の識別情報を表し、３Ｄ線分始点は、３Ｄ線分の一方の端点の３次元座標を表し、３Ｄ線分終点は、３Ｄ線分の他方の端点の３次元座標を表す。第１視点特徴線ＩＤは、対応ペアに含まれる特徴線の識別情報を表し、第１視点特徴線始点は、特徴線の一方の端点の２次元座標を表し、第１視点特徴線終点は、特徴線の他方の端点の２次元座標を表す。この例では、３次元座標の単位はｍｍであり、２次元座標の単位はｐｉｘｅｌである。

次に、特定部５１５は、対応ペア集合５３５に含まれるｋ個の対応ペアを用いて、第１視点における撮像装置５０２の位置及び姿勢を計算する。特定部５１５は、例えば、非特許文献４の技術を用いて、ｋ個の対応ペアから、位置及び姿勢を表す３行３列の回転行列Ｒと並進ベクトルＴとを計算することができる。

特定部５１５は、計算された撮像装置５０２の位置及び姿勢を用いて、ｋ個の対応ペアそれぞれに含まれる３Ｄ線分５３４を画像５３２上に投影することで、投影線を生成する。例えば、特定部５１５は、次式により、３Ｄ線分５３４を画像５３２上に投影することができる。

式（１）の（Ｘ，Ｙ，Ｚ）、Ａ、Ｒ、Ｔ、及び（ｕ，ｖ）の定義は、以下の通りである。

（Ｘ，Ｙ，Ｚ）：３Ｄ線分の端点の３次元座標
Ａ：撮像装置５０２の内部パラメータ
Ｒ：３行３列の回転行列
Ｔ：並進ベクトル
（ｕ，ｖ）：画像５３２上における投影線の端点の２次元座標

撮像装置５０２の内部パラメータＡは、例えば、非特許文献１の技術を用いて、事前に計測しておくことができる。

次に、特定部５１５は、各対応ペアに含まれる３Ｄ線分５３４の投影線の位置と、その対応ペアに含まれる特徴線の位置との間の誤差を計算する。計算された誤差は、投影線と特徴線との位置関係を表す。

図９は、投影線と特徴線との間の領域の面積に基づく誤差の計算方法の例を示している。ｋ個の対応ペアのうちｉ番目（ｉ＝１〜ｋ）の対応ペアに含まれる３Ｄ線分の投影線が線分９０１であり、特徴線が線分９０２である場合、線分９０１の両端と線分９０２の両端とをそれぞれ結ぶ線分９０３及び線分９０４を定義することができる。この場合、線分９０１〜線分９０４によって囲まれた領域の面積Ａｉを、投影線の位置と特徴線の位置との間の誤差Ｅｉとして用いることができる。

Ｅｉ＝Ａｉ （２）

面積Ａｉが小さいほど、誤差Ｅｉは小さくなり、線分９０１が線分９０２に重なっている場合、誤差Ｅｉは０になる。

図１０は、投影線と特徴線との間の距離に基づく誤差の計算方法の例を示している。線分９０２の両端から線分９０１上へ下ろした垂線１００１及び垂線１００２の長さを、それぞれ、Ｌｉ１及びＬｉ２とする。この場合、Ｌｉ１及びＬｉ２の和を、誤差Ｅｉとして用いることができる。

Ｅｉ＝Ｌｉ１＋Ｌｉ２ （３）

Ｌｉ１及びＬｉ２が短いほど、誤差Ｅｉは小さくなり、線分９０１が線分９０２に重なっている場合、誤差Ｅｉは０になる。

特定部５１５は、誤差Ｅｉを所定の閾値と比較し、誤差Ｅｉが閾値よりも大きい場合、ｉ番目の対応ペアを物体の形状の不良部分として特定する。

特定部５１５は、先願である特願２０１８−４６２５１号に記載された技術を用いて、誤差Ｅｉに対する閾値を自動的に設定することも可能である。この技術によれば、ｋ個の対応ペアそれぞれから計算された誤差の統計値に基づいて、閾値が設定される。

次に、計算部５１６は、第２視点の候補となる複数の候補位置を、第１視点に基づいて設定する。第２視点は、第２の撮影位置の一例であり、不良部分として特定された対応ペアに含まれる特徴線から、その特徴線に対応する物体の３次元線分を復元するために、別の画像を撮影する撮影位置を表す。

図１１は、第２視点の候補位置の例を示している。タブレット１１０１は、画像処理装置５０１及び撮像装置５０２を含む携帯端末装置の一例であり、ユーザ１１０２は、タブレット１１０１を用いて、第１視点に相当する位置１１０３から物体１０１を撮影する。

位置１１０３に近い領域１１１１内に第２視点を設定した場合、物体上の３次元線分である稜線の復元精度が低下する可能性がある。一方、領域１１１１よりも広い領域１１１２の外側に第２視点を設定した場合、位置１１０３から第２視点までの移動距離が大きくなり、ユーザ１１０２の移動負荷が増加する。

この場合、領域１１１２に含まれ、かつ、領域１１１１に含まれていない位置１１０４又は位置１１０５を、第２視点に設定することが望ましい。したがって、位置１１０４及び位置１１０５を含む、領域１１１２内の所定数の位置が候補位置として設定される。

しかし、自己遮蔽等によって、不良部分を表す特徴線に対応する稜線が、いずれかの候補位置から観察されないことがある。そこで、計算部５１６は、所定数の候補位置各々を視点として用いて、不良部分として特定された対応ペアに含まれる３Ｄ線分が、その視点から観察されるか否かを判定する。この３Ｄ線分は、不良部分を表す特徴線に対応する投影線を生成するために用いられた特定の３Ｄ線分である。

計算部５１６は、３Ｄ線分が視点から観察されない場合、視点として用いられた候補位置を除外し、３Ｄ線分が視点から観察される場合、視点として用いられた候補位置を選択することで、所定数の候補位置の中から複数の候補位置を抽出する。これにより、不良部分に対応する３Ｄ線分を観察可能な候補位置のみを抽出することができる。

次に、計算部５１６は、第１視点と複数の候補位置それぞれとの距離に基づいて、それらの候補位置それぞれの評価値５３６を計算し、記憶部５１１に格納する。各候補位置の評価値５３６は、その候補位置を第２視点として用いて不良部分を表す稜線を復元する場合の復元可能度を表す。そして、決定部５１７は、複数の候補位置それぞれの評価値５３６に基づいて、それらの候補位置のいずれかを、第２視点の推奨位置に決定する。

第１視点と各候補位置の距離に基づいて、その候補位置の評価値５３６を計算することで、第１視点から適切な距離の範囲に存在する候補位置の評価値５３６を大きくし、それ以外の候補位置の評価値５３６を小さくすることが可能になる。これにより、適切な距離の範囲に存在する候補位置を、第２視点の推奨位置に決定することができる。

次に、画像生成部５１８は、第２視点の推奨位置から観察される、ＣＡＤデータ５３１が表す物体の形状を示す物体形状画像５３７を生成して、記憶部５１１に格納する。そして、表示部５２０は、物体形状画像５３７を画面上に表示する。物体形状画像５３７は、第２視点の推奨位置を認知可能な情報の一例である。

図１２は、物体形状画像５３７の例を示している。図１２（ａ）は、図１１の位置１１０４から観察される物体１０１の物体形状画像５３７の例を示しており、図１２（ｂ）は、位置１１０５から観察される物体１０１の物体形状画像５３７の例を示している。

ユーザは、画像処理装置５０１及び撮像装置５０２を含む携帯端末装置を保持したままで移動する。このとき、撮像装置５０２は、移動しながら物体を撮影し、画像取得部５１２は、撮像装置５０２から画像を取得し、表示部５２０は、取得された画像を画面上に表示する。したがって、ユーザの移動に伴って変化する物体の画像が、画面上に表示される。ユーザは、表示される物体の画像と物体形状画像５３７とを比較しながら移動し、画像に写っている物体の姿勢が物体形状画像５３７の姿勢と一致する位置で停止する。これにより、撮像装置５０２が第２視点へ移動する。

ユーザは、撮像装置５０２を用いて、第２視点から物体の画像５３８を撮影し、画像取得部５１２は、撮像装置５０２から画像５３８を取得して、記憶部５１１に格納する。画像５３８は、第２画像の一例である。

特徴線検出部５１３は、エッジ検出処理を行って、画像５３８から不良部分を表す特徴線を検出する。復元部５１９は、画像５３２から検出された不良部分を表す特徴線と、画像５３８から検出された不良部分を表す特徴線とを用いて、それらの特徴線に対応する稜線を復元する。次に、復元部５１９は、不良部分の対応ペアに含まれる３Ｄ線分の位置と、復元された稜線の位置との間の３次元のずれ量５３９を求めて、記憶部５１１に格納する。そして、表示部５２０は、ずれ量５３９を示す情報を画面上に表示する。

復元された３次元の稜線を用いてずれ量５３９を計算することで、３Ｄ線分の投影線と画像内の特徴線との誤差を３次元空間内の距離に変換する方法と比較して、より高精度なずれ量を求めることができる。

図５の画像処理装置５０１によれば、第１視点から撮影された画像によって、物体の形状の不良部分が特定された場合、不良部分の３次元形状を復元するために最適な第２視点の推奨位置が提示される。これにより、ユーザの作業負荷を軽減しながら、３次元のずれ量を高精度に推定することが可能になる。

また、不良部分を表す特徴線に対応する稜線のみを復元することで、物体の全体形状を復元する場合と比較して、復元処理の計算量が減少する。

次に、図１３から図１６までを参照しながら、候補位置の設定方法と評価値５３６の計算方法の例について、より詳細に説明する。以下の説明では、ＣＡＤデータ５３１が表す物体を指して、３Ｄモデルと記載することがある。

図１３は、３Ｄモデルの重心を原点とするモデル座標系と、撮像装置５０２の光学中心を原点とするカメラ座標系の例を示している。座標系Ｏｍ−ＸｍＹｍＺｍは、３Ｄモデルの重心を原点Ｏｍとするモデル座標系を表し、座標系Ｏｃ−ＸｃＹｃＺｃは、第１視点を原点Ｏｃとするカメラ座標系を表し、座標系Ｏｃ’−Ｘｃ’Ｙｃ’Ｚｃ’は、第２視点の候補位置を原点Ｏｃ’とするカメラ座標系を表す。

第１視点における撮像装置５０２の光軸は、原点Ｏｃ’と原点Ｏｍを結ぶ直線１３０１に一致し、平面１３０２は、直線１３０１に垂直で、かつ、原点Ｏｃを通る平面である。線分１３０３は、不良部分の対応ペアに含まれる３Ｄ線分を表す。

図１４は、第２視点の候補位置の設定方法の例を示している。この例では、平面１３０２内の直線１４０１上に、候補位置１４１１−１〜候補位置１４１１−４及び候補位置１４１２−１〜候補位置１４１２−４が等間隔で設定されている。直線１４０１は、原点Ｏｃを通る水平線である。

第２視点が直線１４０１よりも下方に設定されると、ユーザがしゃがむ動作を行うため、身体的負荷が大きくなる。また、第２視点が直線１４０１よりも上方に設定されると、ユーザが腕を伸ばす動作を行うため、やはり身体的負荷が大きくなる。そこで、第１視点を通る直線１４０１上に第２視点を設定することで、ユーザの身体的負荷が軽減され、移動可能性が向上する。

直線１４０１上の各候補位置における撮像装置５０２の姿勢は、その光軸が候補位置と原点Ｏｍを結ぶ直線に一致するように決定される。

図１５は、モデル座標系と各候補位置におけるカメラ座標系との間の角度の例を示している。直線１５０１は、候補位置と原点Ｏｍを結ぶ直線であり、直線１５０２は、原点Ｏｃ’からＸｍＹｍ平面上に下した垂線であり、点Ｆは、直線１５０２とＸｍＹｍ平面の交点である。角度αは、原点Ｏｍと点Ｆを結ぶ直線１５０３と、Ｘｍ軸とが成す角であり、角度βは、直線１５０１と直線１５０３とが成す角である。このとき、各候補位置における撮像装置５０２の姿勢は、次式の回転行列Ｒ’によって表される。

Ｒ１は、Ｚｍ軸周りの角度αの回転を表す回転行列であり、Ｒ２は、Ｙｍ軸周りの角度βの回転を表す回転行列である。Ｒ３は、Ｘｍ軸周りの−９０度の回転を表す回転行列であり、Ｒ４は、Ｙｍ軸周りの−９０度の回転を表す回転行列である。

計算部５１６は、各候補位置における撮像装置５０２の姿勢を用いて、その候補位置から物体を観察した場合に、線分１３０３が隠線になるか否かを判定する。計算部５１６は、例えば、非特許文献３の技術を用いて、隠線判定を行うことができる。そして、計算部５１６は、線分１３０３が隠線になる場合、その候補位置を除外し、残りの候補位置について評価値５３６を計算する。評価値５３６としては、例えば、次式の評価値Ｑを用いることができる。

Ｑ＝Ｌ^２ｅ^{−ａ｜Ｌ｜} （９）
ａ＝２／（ｄｔａｎ（θ１）） （１０）

式（９）のＬは、直線１４０１上における各候補位置と原点Ｏｃの符号付き距離を表す。例えば、候補位置１４１１−１〜候補位置１４１１−４に対するＬは、正の符号を有し、候補位置１４１２−１〜候補位置１４１２−４に対するＬは、負の符号を有する。式（１０）のｄは、原点Ｏｍと原点Ｏｃの距離を表し、θ１は、直線１３０１と直線１５０１とが成す角を表す規定値である。θ１としては、物体の稜線を復元する上で最も好ましい角度を用いてもよく、撮影対象の物体に応じてθ１を増減してもよい。θ１は、１５°〜２５°の範囲の角度であってもよい。

図１６は、評価値Ｑの関数形の例を示している。横軸は符号付き距離Ｌを表し、縦軸は評価値Ｑを表す。Ｌ＝０のときＱ＝０であり、｜Ｌ｜が０から離れるにつれてＱは増加し、｜Ｌ｜＝ｄｔａｎ（θ１）のときＱは極大となる。そして、｜Ｌ｜がｄｔａｎ（θ１）から離れるにつれてＱはしだいに減少していく。

決定部５１７は、複数の候補位置のうち、評価値Ｑが大きいものから順に１つ又は複数の候補位置を選択し、選択した候補位置を第２視点の推奨位置に決定する。

このように、｜Ｌ｜が所定値のときに極大となる評価値Ｑを用いて、第２視点の推奨位置を決定することで、第１視点と第２視点を一定距離以上離すことができ、三角測量の精度が向上する。また、第１視点と第２視点が離れすぎることがないため、ユーザの移動負荷が軽減されるとともに、環境光の影響等を受けることも少なくなる。

図１７は、第１視点における画像５３２とともに画面上に表示された、物体形状画像５３７の例を示している。“候補１”の物体形状画像１７０１は、最大の評価値Ｑを持つ推奨位置から観察される３Ｄモデルを表し、“候補２”の物体形状画像１７０２は、２番目に大きな評価値Ｑを持つ推奨位置から観察される３Ｄモデルを表す。第１視点から観察される物体１０１の下方には、「候補の図と同じ姿勢になる位置まで移動して下さい」というメッセージが表示されている。

ユーザは、表示されたメッセージに従って、物体１０１の姿勢が物体形状画像１７０１又は物体形状画像１７０２の姿勢と一致する位置まで移動する。撮像装置５０２は、その位置から物体１０１の画像を撮影し、画像取得部５１２は、撮影された画像を、第２視点における画像５３８として記憶部５１１に格納する。

画像処理装置５０１は、画像５３８に対して、画像５３２と同様の処理を行って、画像５３８から特徴線を検出し、対応ペア集合を生成し、対応ペア集合に含まれるｋ個の対応ペアを用いて、第２視点における撮像装置５０２の位置及び姿勢を計算する。

次に、復元部５１９は、計算された撮像装置５０２の位置及び姿勢を用いて、ｋ個の対応ペアそれぞれに含まれる３Ｄ線分を画像５３８上に投影することで、第２視点における投影線を生成する。そして、復元部５１９は、不良部分の対応ペアに含まれる３Ｄ線分の第２視点における投影線を選択し、画像５３８から検出された特徴線のうち、選択された投影線と最も距離の近い特徴線を特定する。これにより、不良部分の３Ｄ線分と、第２視点における画像５３８内の特徴線とが対応付けられる。

図１８は、図８の対応ペア集合５３５に対して、第２視点における画像５３８内の特徴線を追加した、対応ペア集合の例を示している。図１８の対応ペア集合は、図８の対応ペア集合５３５に対して、フラグ、第２視点特徴線ＩＤ、第２視点特徴線始点、及び第２視点特徴線終点を追加した構成を有する。

フラグは、３Ｄ線分と第１視点特徴線の対応ペアが不良部分であるか否かを示す。“Ｔｒｕｅ”は、不良部分であることを示し、“Ｆａｌｓｅ”は、不良部分ではないことを示す。第２視点特徴線ＩＤは、不良部分の３Ｄ線分と対応付けられた、第２視点における特徴線の識別情報を表す。第２視点特徴線始点は、第２視点における特徴線の一方の端点の２次元座標を表し、第２視点特徴線終点は、第２視点における特徴線の他方の端点の２次元座標を表す。

この例では、３Ｄ線分ＩＤ“１”及び３Ｄ線分ＩＤ“４”の２本の３Ｄ線分が、不良部分として特定されている。３Ｄ線分ＩＤ“１”には、第１視点特徴線ＩＤ“４３”の特徴線と、第２視点特徴線ＩＤ“１６”の特徴線とが対応付けられている。また、３Ｄ線分ＩＤ“４”には、第１視点特徴線ＩＤ“４７”の特徴線と、第２視点特徴線ＩＤ“５３”の特徴線とが対応付けられている。

復元部５１９は、不良部分の３Ｄ線分と対応付けられた、第１視点における特徴線及び第２視点における特徴線を用いて、図２に示した復元処理を行うことで、それらの特徴線に対応する稜線を復元する。この場合、第１視点及び第２視点が、それぞれ、視点Ｏ１及び視点Ｏ２として用いられ、画像５３２及び画像５３８の画像平面が、それぞれ、画像平面２１１及び画像平面２１２として用いられる。

特徴線２２１及び特徴線２２２が特定された場合、それらの特徴線に対応する稜線２０１は、視点Ｏ１、点ｐ１ｓ、及び点ｐ１ｅを通る平面π１と、視点Ｏ２、点ｐ２ｓ、及び点ｐ２ｅを通る平面π２との交線として求められる。例えば、平面π１及び平面π２の方程式は、３次元座標を表すベクトルｘを用いて、次式により表される。

π１ （ｎ１，ｘ）＋ｄ１＝０ （１１）
π２ （ｎ２，ｘ）＋ｄ２＝０ （１２）

ｎ１は、平面π１の法線ベクトルを表し、ｎ２は、平面π２の法線ベクトルを表し、（ｖ１，ｖ２）は、ベクトルｖ１とベクトルｖ２の内積を表す。ｄ１及びｄ２は定数である。このとき、平面π１及び平面π２の交線の方程式は、パラメータｔを用いて、次式により表される。

ｐ０は、交線上の点を表すベクトルであり、ｕ０は、交線の方向ベクトルである。ｎ１×ｎ２は、法線ベクトルｎ１と法線ベクトルｎ２の外積を表す。

復元部５１９は、式（１３）により表される直線上の点Ｐｓ及び点Ｐｅを両端点とする線分を、稜線２０１として特定する。そして、復元部５１９は、不良部分の３Ｄ線分の位置と、稜線２０１の位置との間の３次元のずれ量５３９を計算する。

図１９は、ずれ量５３９の計算方法の例を示している。復元部５１９は、不良部分の３Ｄ線分１９０１の両端から、復元された稜線１９０２上へ下ろした、垂線１９０３及び垂線１９０４の長さを計算し、いずれか長い方の長さをずれ量５３９に決定する。

図２０は、図１８の対応ペア集合に対して、計算されたずれ量５３９を追加した、対応ペア集合の例を示している。この例では、３Ｄ線分ＩＤ“１”の３Ｄ線分に対する稜線のずれ量５３９は１３．１ｍｍであり、３Ｄ線分ＩＤ“４”の３Ｄ線分に対する稜線のずれ量５３９は１９．２ｍｍである。

画像処理装置５０１は、第２視点の複数の推奨位置から観察される物体形状画像５３７を同時に表示する代わりに、最大の評価値５３６を持つ推奨位置から観察される物体形状画像５３７のみを表示してもよい。そして、影の影響等により、その推奨位置において撮影された画像５３８から、不良部分の３Ｄ線分に対応する特徴線が検出されない場合に、画像処理装置５０１は、２番目に大きな評価値５３６を持つ推奨位置から観察される物体形状画像５３７を表示する。この場合、ユーザは、画面上に表示された複数の物体形状画像５３７のいずれが適切であるかを判断する必要がなくなる。

図２１は、図５の画像処理装置５０１が第１視点において行う画像処理の例を示すフローチャートである。まず、画像取得部５１２は、撮像装置５０２から第１視点における画像５３２を取得し（ステップ２１０１）、特徴線検出部５１３は、画像５３２から複数の特徴線５３３を検出する（ステップ２１０２）。

また、線分検出部５１４は、ＣＡＤデータ５３１から複数の３Ｄ線分５３４を検出し（ステップ２１０３）、特定部５１５は、撮像装置５０２の初期位置及び初期姿勢を設定する（ステップ２１０４）。

次に、特定部５１５は、３Ｄ線分５３４から隠線を除去し、残りの３Ｄ線分から対応ペア集合５３５を生成し（ステップ２１０５）、対応ペア集合５３５を用いて、第１視点における撮像装置５０２の位置及び姿勢を計算する（ステップ２１０６）。

次に、特定部５１５は、計算された撮像装置５０２の位置及び姿勢を用いて、対応ペア集合５３５に含まれる３Ｄ線分５３４を画像５３２上に投影することで、第１視点における投影線を生成する。そして、特定部５１５は、３Ｄ線分５３４の投影線の位置と特徴線の位置との間の誤差を閾値と比較して、物体の形状の不良部分を特定する（ステップ２１０７）。

次に、計算部５１６は、第２視点の候補となる複数の候補位置を設定し、各候補位置の評価値５３６を計算する（ステップ２１０８）。次に、決定部５１７は、評価値５３６に基づいて第２視点の推奨位置を決定し、画像生成部５１８は、推奨位置から観察される物体形状画像５３７を生成し、表示部５２０は、画像５３２とともに物体形状画像５３７を画面上に表示する（ステップ２１０９）。

図２２は、図５の画像処理装置５０１が第２視点において行う画像処理の例を示すフローチャートである。まず、画像取得部５１２は、撮像装置５０２から第２視点における画像５３８を取得し（ステップ２２０１）、特徴線検出部５１３は、画像５３８から複数の特徴線を検出する（ステップ２２０２）。

次に、特定部５１５は、３Ｄ線分から隠線を除去し、残りの３Ｄ線分から対応ペア集合を生成し（ステップ２２０３）、対応ペア集合を用いて、第２視点における撮像装置５０２の位置及び姿勢を計算する（ステップ２２０４）。

次に、復元部５１９は、計算された撮像装置５０２の位置及び姿勢を用いて、対応ペア集合に含まれる３Ｄ線分を画像５３８上に投影することで、第２視点における投影線を生成する。そして、復元部５１９は、第２視点における投影線を用いて、不良部分の３Ｄ線分に対応する画像５３８内の特徴線を特定し、不良部分の３Ｄ線分に対応する、画像５３２内の特徴線及び画像５３８内の特徴線を用いて、稜線を復元する（ステップ２２０５）。

次に、復元部５１９は、不良部分の３Ｄ線分の位置と、復元された稜線の位置との間のずれ量５３９を計算し（ステップ２２０６）、表示部５２０は、ずれ量５３９を示す情報を画面上に表示する（ステップ２２０７）。

ところで、決定部５１７は、不良部分の３Ｄ線分と復元された稜線とに基づいて、不良部分のエビデンス画像を撮影するための第３視点を決定することもできる。第３視点は、第３の撮影位置の一例である。

例えば、画面上に複数の不良部分とともにずれ量５３９が表示された場合、ユーザは、いずれかの不良部分を処理対象として選択し、決定部５１７は、選択された不良部分のずれ量５３９が最も大きく観察される位置を、第３視点の推奨位置に決定する。この場合、第３視点の推奨位置は、復元された稜線のずれ方向に対して垂直な直線上に存在する。

画像生成部５１８は、第３視点の推奨位置から観察される物体形状画像を生成し、表示部５２０は、画像５３８とともに物体形状画像を画面上に表示する。第３視点の推奨位置から観察される物体形状画像は、第３視点の推奨位置を認知可能な情報の一例である。

図２３は、第３視点の推奨位置から観察される物体形状画像の例を示している。図２３の物体形状画像は、図１に示した物体１０１の突出部１１１とＣＡＤデータ１０２の３Ｄ線分との間のずれ量が最も大きく観察される画像を表す。

図２４は、第３視点におけるカメラ座標系の例を示している。座標系Ｏｍ−ＸｍＹｍＺｍはモデル座標系を表し、座標系Ｏｃ−ＸｃＹｃＺｃは、第１視点を原点Ｏｃとするカメラ座標系を表し、座標系Ｏｃ’−Ｘｃ’Ｙｃ’Ｚｃ’は、第２視点の候補位置を原点Ｏｃ’とするカメラ座標系を表す。そして、座標系Ｏｃ’’−Ｘｃ’’Ｙｃ’’Ｚｃ’’は、第３視点の推奨位置を原点Ｏｃ’’とするカメラ座標系を表す。

点Ｇは、不良部分の３Ｄ線分２４０１の端点を表し、点Ｈは、復元された稜線２４０２に対して点Ｇから下した垂線２４０３の足を表す。原点Ｏｍと原点Ｏｃ’’を結ぶ直線上で、原点Ｏｍから原点Ｏｃ’’へ向かう方向ベクトルをｒとし、３Ｄ線分２４０１の方向ベクトルをｑ１とし、点Ｇから点Ｈへ向かう方向ベクトルをｑ２とする。

このとき、決定部５１７は、ｒ＝ｑ２×ｑ１となり、原点Ｏｍと原点Ｏｃ’’の距離が、原点Ｏｍと原点Ｏｃの距離と等しくなるように、原点Ｏｃ’’の位置を決定する。そして、決定部５１７は、式（４）と同様の回転行列を用いて、第３視点の推奨位置における撮像装置５０２の姿勢を決定する。

図２５は、第２視点における画像５３８とともに画面上に表示された、物体形状画像の例を示している。物体形状画像２５０１は、第３視点の推奨位置から観察される３Ｄモデルを表し、物体１０１の下方には、「提示の図と同じ姿勢になる位置まで移動して下さい」というメッセージが表示されている。

ユーザは、表示されたメッセージに従って、物体１０１の姿勢が物体形状画像２５０１の姿勢と一致する位置まで移動する。撮像装置５０２は、その位置から物体１０１の画像を撮影し、画像取得部５１２は、撮影された画像を、不良部分のエビデンス画像として記憶部５１１に格納する。これにより、ずれ量５３９を明確に示す画像をエビデンス画像として記録することができる。

図２６は、第２視点において第３視点の推奨位置をユーザに提示する画像処理の例を示すフローチャートである。ステップ２６０１〜ステップ２６０７の処理は、図２２のステップ２２０１〜ステップ２２０７の処理と同様である。ずれ量５３９を示す情報が表示された後、決定部５１７は、第３視点の推奨位置を決定し、画像生成部５１８は、推奨位置から観察される物体形状画像を生成し、表示部５２０は、画像５３８とともに物体形状画像を画面上に表示する（ステップ２６０８）。

図２７は、図３の画像処理装置３０１の第２の具体例を示している。図２７の画像処理装置２７０１は、図５の画像処理装置５０１において、誘導情報生成部２７１１を追加した構成を有する。

誘導情報生成部２７１１は、画像処理装置２７０１及び撮像装置５０２を含む携帯端末装置を保持するユーザを、第１視点から第２視点へ誘導する誘導情報２７２１を生成して、記憶部５１１に格納する。誘導情報２７２１は、第１視点から第２視点までの移動方法を示すコンテンツ情報である。表示部５２０は、画像５３２及び物体形状画像５３７とともに、誘導情報２７２１を画面上に表示する。

図２８は、図１７の物体形状画像１７０１とともに画面上に表示された、誘導情報２７２１の例を示している。この例では、ユーザの移動方向を示す矢印２８０１が誘導情報２７２１として表示され、物体１０１の下方には、「物体との距離を保ちつつ，矢印の方向に動かして下さい」というメッセージが表示されている。

例えば、画像取得部５１２は、所定の時間間隔で撮像装置５０２から画像を取得し、特徴線検出部５１３は、画像から複数の特徴線を検出する。以下の説明では、撮像装置５０２から取得される各時刻の画像を、フレームと呼ぶことがある。

特定部５１５は、各フレームから検出された特徴線を用いて対応ペア集合を生成し、対応ペア集合を用いて、撮像装置５０２の位置及び姿勢を計算する。まず、特定部５１５は、直前のフレームに対して計算された撮像装置５０２の位置及び姿勢を用いて、直前のフレームにおける対応ペア集合の３Ｄ線分を画像上に投影することで、投影線を生成する。

次に、特定部５１５は、現在のフレームから検出された特徴線のうち、各３Ｄ線分の投影線と最も距離の近い特徴線を、その３Ｄ線分と対応付けることで、現在のフレームにおける対応ペア集合を生成する。これにより、前後のフレーム間で特徴線を追跡することができる。そして、特定部５１５は、生成された対応ペア集合を用いて、現在のフレームに対する撮像装置５０２の位置及び姿勢を計算する。

次に、誘導情報生成部２７１１は、現在のフレームに対する撮像装置５０２の位置及び姿勢を用いて、第１視点と第２視点の推奨位置とを画像上に投影し、第１視点の投影点から第２視点の推奨位置の投影点へ向かう矢印を生成する。ただし、矢印の大きさは、画面内に収まる大きさに調整される。

誘導情報２７２１を画面上に表示することで、ユーザが移動方向を直感的に認識することができ、ユーザの利便性が向上する。矢印以外の図形、イラスト等のコンテンツ情報を誘導情報２７２１として用いてもよい。

図２９は、図２１の画像処理が終了した後、ユーザが移動している間に誘導情報２７２１を表示する画像処理の例を示すフローチャートである。まず、画像取得部５１２は、撮像装置５０２から現在のフレームの画像を取得し（ステップ２９０１）、特徴線検出部５１３は、画像から複数の特徴線を検出する（ステップ２９０２）。

次に、特定部５１５は、前後のフレーム間で特徴線を追跡して、現在のフレームにおける対応ペア集合を生成し（ステップ２９０３）、対応ペア集合を用いて、現在のフレームに対する撮像装置５０２の位置及び姿勢を計算する（ステップ２９０４）。

次に、誘導情報生成部２７１１は、誘導情報２７２１を生成し、表示部５２０は、現在のフレームの画像及び物体形状画像５３７とともに、誘導情報２７２１を画面上に表示する（ステップ２９０５）。

次に、誘導情報生成部２７１１は、ユーザに対する誘導を終了するか否かを判定する（ステップ２９０６）。例えば、誘導情報生成部２７１１は、ユーザが第２視点の推奨位置まで移動したときに、誘導を終了すると判定する。誘導情報生成部２７１１は、ユーザからのタップ等の操作入力を受け付けた場合に、誘導を終了すると判定してもよい。

誘導を終了しない場合（ステップ２９０６，ＮＯ）、画像処理装置２７０１は、次のフレームについて、ステップ２９０１以降の処理を繰り返す。一方、誘導を終了する場合（ステップ２９０６，ＹＥＳ）、画像処理装置２７０１は、図２９の画像処理を終了して、図２２又は図２６の画像処理を開始する。

ステップ２９０５において、計算部５１６は、現在のフレームに対する撮像装置５０２の位置の評価値５３６を計算し、表示部５２０は、計算された評価値５３６を画面上に表示することも可能である。このとき、表示部５２０は、評価値５３６の大きさに応じて異なる色を用いて、評価値５３６を表示してもよい。これにより、フレーム毎に変化する評価値５３６が、リアルタイムでユーザに提示される。

図３、図５、及び図２７の画像処理装置の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図５及び図２７の画像処理装置において、物体形状画像５３７以外の情報を、第２視点の推奨位置を認知可能な情報として用いる場合は、画像生成部５１８を省略することができる。稜線を復元する復元処理及びずれ量５３９の計算が外部の装置によって行われる場合は、復元部５１９を省略することができる。ＣＡＤデータ５３１の代わりに、物体の形状を表す他の形状情報を用いてもよい。

図４、図２１、図２２、図２６、及び図２９のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図２１のステップ２１０９及び図２６のステップ２６０８において、表示部５２０は、物体形状画像以外の情報を画面上に表示してもよい。稜線を復元する復元処理及びずれ量５３９の計算が外部の装置によって行われる場合は、図２２のステップ２２０２〜ステップ２２０７の処理を省略することができる。

図１、図１７、図２５、及び図２８の画像は一例に過ぎず、物体の画像は、撮影対象の物体に応じて変化する。図２の稜線及び画像平面、図６のＣＡＤデータ、図７の３Ｄ線分及び特徴線は一例に過ぎず、稜線、画像平面、ＣＡＤデータ、３Ｄ線分、及び特徴線は、撮影対象の物体、画像処理装置の構成又は条件に応じて変化する。図８、図１８、及び図２０の対応ペア集合は一例に過ぎず、対応ペア集合は、撮影対象の物体、画像処理装置の構成又は条件に応じて変化する。

図９及び図１０の誤差の計算方法は一例に過ぎず、画像処理装置の構成又は条件に応じて別の計算方法を用いてもよい。図１１及び図１４の候補位置は一例に過ぎず、撮影対象の物体に応じて別の候補位置を設定してもよい。図１２、図１７、図２３、図２５、及び図２８の物体形状画像は一例に過ぎず、物体形状画像は、撮影対象の物体に応じて変化する。

図１３〜図１５及び図２４の座標系は一例に過ぎず、画像処理装置の構成又は条件に応じて別の座標系を用いてもよい。図１６の評価値は一例に過ぎず、撮影対象の物体、画像処理装置の構成又は条件に応じて別の評価値を用いてもよい。図１９のずれ量の計算方法は一例に過ぎず、画像処理装置の構成又は条件に応じて別の計算方法を用いてもよい。

式（１）〜式（１５）の計算式は一例に過ぎず、画像処理装置の構成又は条件に応じて別の計算式を用いてもよい。

図３０は、図３、図５、及び図２７の画像処理装置として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図３０の情報処理装置は、ＣＰＵ（Central Processing Unit）３００１、メモリ３００２、入力装置３００３、出力装置３００４、補助記憶装置３００５、媒体駆動装置３００６、及びネットワーク接続装置３００７を含む。これらの構成要素はハードウェアであり、バス３００８により互いに接続されている。図５及び図２７の撮像装置５０２は、バス３００８に接続されていてもよい。

メモリ３００２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ３００２は、図３の記憶部３１１、又は図５及び図２７の記憶部５１１として用いることができる。

ＣＰＵ３００１（プロセッサ）は、例えば、メモリ３００２を利用してプログラムを実行することにより、図３の検出部３１２、特定部３１３、計算部３１４、及び決定部３１５として動作する。

ＣＰＵ３００１は、メモリ３００２を利用してプログラムを実行することにより、図５及び図２７の画像取得部５１２、特徴線検出部５１３、線分検出部５１４、特定部５１５、計算部５１６、及び決定部５１７としても動作する。ＣＰＵ３００１は、メモリ３００２を利用してプログラムを実行することにより、画像生成部５１８及び復元部５１９としても動作する。

ＣＰＵ３００１は、メモリ３００２を利用してプログラムを実行することにより、図２７の誘導情報生成部２７１１としても動作する。

入力装置３００３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置３００４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、物体形状画像５３７又はずれ量５３９を示す情報であってもよい。出力装置３００４は、図３の出力部３１６、又は図５及び図２７の表示部５２０として用いることができる。

補助記憶装置３００５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置３００５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置３００５にプログラム及びデータを格納しておき、それらをメモリ３００２にロードして使用することができる。補助記憶装置３００５は、図３の記憶部３１１、又は図５及び図２７の記憶部５１１として用いることができる。

媒体駆動装置３００６は、可搬型記録媒体３００９を駆動し、その記録内容にアクセスする。可搬型記録媒体３００９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体３００９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体３００９にプログラム及びデータを格納しておき、それらをメモリ３００２にロードして使用することができる。

このように、画像処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ３００２、補助記憶装置３００５、又は可搬型記録媒体３００９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置３００７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置３００７を介して受信し、それらをメモリ３００２にロードして使用することができる。ネットワーク接続装置３００７は、図３の出力部３１６として用いることができる。

なお、情報処理装置が図３０のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、可搬型記録媒体３００９又は通信ネットワークを使用しない場合は、媒体駆動装置３００６又はネットワーク接続装置３００７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図３０を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
物体の形状を表す複数の線分を含む形状情報を記憶する記憶部と、
第１の撮影位置から撮像装置によって撮影した前記物体を含む第１画像から、複数の特徴線を検出する検出部と、
前記複数の線分それぞれを前記第１画像上に投影することにより生成される複数の投影線と、前記複数の特徴線との位置関係に基づいて、前記複数の特徴線のうち、前記物体の形状の不良部分を表す特徴線を特定する特定部と、
前記物体を含む第２画像を撮像装置によって撮影する第２の撮影位置の候補である複数の候補位置を、前記第１の撮影位置に基づいて設定するとともに、前記複数の候補位置それぞれの評価値を計算する計算部と、
前記複数の候補位置それぞれの評価値に基づいて、前記複数の候補位置のうち、いずれかの候補位置を決定する決定部と、
決定した前記候補位置を認知可能な情報を出力する出力部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記計算部は、前記第２の撮影位置の候補である所定数の候補位置各々を視点として用いて、前記複数の線分のうち、前記不良部分を表す特徴線に対応する投影線を生成するために用いられた特定の線分が、前記視点から観察されるか否かを判定し、前記特定の線分が前記視点から観察されない場合、前記視点として用いられた候補位置を除外し、前記特定の線分が前記視点から観察される場合、前記視点として用いられた候補位置を選択することで、前記所定数の候補位置の中から前記複数の候補位置を抽出することを特徴とする付記１記載の画像処理装置。
（付記３）
前記計算部は、前記第１の撮影位置と前記複数の候補位置それぞれとの距離に基づいて、前記複数の候補位置それぞれの評価値を計算することを特徴とする付記２記載の画像処理装置。
（付記４）
前記決定した候補位置を認知可能な情報は、前記決定した候補位置から観察される、前記複数の線分が表す前記物体の形状を示す物体形状画像であり、
前記画像処理装置は、
前記物体形状画像を生成する画像生成部と、
前記撮像装置を保持するユーザを前記第１の撮影位置から前記決定した候補位置へ誘導する誘導情報を生成する誘導情報生成部とをさらに備え、
前記出力部は、前記物体形状画像及び前記誘導情報を出力することを特徴とする付記２又は３記載の画像処理装置。
（付記５）
前記撮像装置は、前記決定した候補位置において前記物体を撮影することで前記第２画像を生成し、
前記検出部は、前記第２画像から前記不良部分を表す特徴線を検出し、
前記画像処理装置は、前記第１画像から検出された前記不良部分を表す特徴線と、前記第２画像から検出された前記不良部分を表す特徴線とを用いて、３次元線分を復元し、前記特定の線分の位置と前記３次元線分の位置との間のずれ量を求める復元部をさらに備え、
前記出力部は、前記ずれ量を示す情報を出力することを特徴とする付記２乃至４のいずれか１項に記載の画像処理装置。
（付記６）
前記決定部は、前記特定の線分及び前記３次元線分に基づいて、前記不良部分を撮影するための第３の撮影位置を決定し、
前記出力部は、前記第３の撮影位置を認知可能な情報を出力することを特徴とする付記５記載の画像処理装置。
（付記７）
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
第１の撮影位置から撮像装置によって撮影した物体を含む第１画像から、複数の特徴線を検出し、
前記物体の形状を表す複数の線分それぞれを前記第１画像上に投影することにより生成される複数の投影線と、前記複数の特徴線との位置関係に基づいて、前記複数の特徴線のうち、前記物体の形状の不良部分を表す特徴線を特定し、
前記物体を含む第２画像を撮像装置によって撮影する第２の撮影位置の候補である複数の候補位置を、前記第１の撮影位置に基づいて設定し、
前記複数の候補位置それぞれの評価値を計算し、
前記複数の候補位置それぞれの評価値に基づいて、前記複数の候補位置のうち、いずれかの候補位置を決定し、
決定した前記候補位置を認知可能な情報を出力する、
ことを特徴とする画像処理方法。
（付記８）
前記コンピュータは、前記第２の撮影位置の候補である所定数の候補位置各々を視点として用いて、前記複数の線分のうち、前記不良部分を表す特徴線に対応する投影線を生成するために用いられた特定の線分が、前記視点から観察されるか否かを判定し、前記特定の線分が前記視点から観察されない場合、前記視点として用いられた候補位置を除外し、前記特定の線分が前記視点から観察される場合、前記視点として用いられた候補位置を選択することで、前記所定数の候補位置の中から前記複数の候補位置を抽出することを特徴とする付記７記載の画像処理方法。
（付記９）
前記コンピュータは、前記第１の撮影位置と前記複数の候補位置それぞれとの距離に基づいて、前記複数の候補位置それぞれの評価値を計算することを特徴とする付記８記載の画像処理方法。
（付記１０）
前記決定した候補位置を認知可能な情報は、前記決定した候補位置から観察される、前記複数の線分が表す前記物体の形状を示す物体形状画像であり、
前記コンピュータは、
前記物体形状画像を生成し、
前記撮像装置を保持するユーザを前記第１の撮影位置から前記決定した候補位置へ誘導する誘導情報を生成し、
前記物体形状画像及び前記誘導情報を出力することを特徴とする付記８又は９記載の画像処理方法。
（付記１１）
前記撮像装置は、前記決定した候補位置において前記物体を撮影することで前記第２画像を生成し、
前記コンピュータは、
前記第２画像から前記不良部分を表す特徴線を検出し、
前記第１画像から検出された前記不良部分を表す特徴線と、前記第２画像から検出された前記不良部分を表す特徴線とを用いて、３次元線分を復元し、
前記特定の線分の位置と前記３次元線分の位置との間のずれ量を求め、
前記ずれ量を示す情報を出力することを特徴とする付記８乃至１０のいずれか１項に記載の画像処理方法。
（付記１２）
前記コンピュータは、前記特定の線分及び前記３次元線分に基づいて、前記不良部分を撮影するための第３の撮影位置を決定し、前記第３の撮影位置を認知可能な情報を出力することを特徴とする付記１１記載の画像処理方法。

１０１ 物体
１０２、５３１ ＣＡＤデータ
１１１ 突出部
２０１、１９０２、２４０２ 稜線
２１１、２１２ 画像平面
２２１、２２２、５３３ 特徴線
３０１、５０１、２７０１ 画像処理装置
３１１、５１１ 記憶部
３１２ 検出部
３１３、５１５ 特定部
３１４、５１６ 計算部
３１５、５１７ 決定部
３１６ 出力部
３２１ 形状情報
５０２ 撮像装置
５１２ 画像取得部
５１３ 特徴線検出部
５１４ 線分検出部
５１８ 画像生成部
５１９ 復元部
５２０ 表示部
５３２、５３８ 画像
５３４、１９０１、２４０１ ３Ｄ線分
５３５ 対応ペア集合
５３６ 評価値
５３７、１７０１、１７０２、２５０１ 物体形状画像
５３９ ずれ量
７０１ 物体の形状
９０１〜９０４、１３０３ 線分
１００１、１００２、１９０３、１９０４、２４０３ 垂線
１１０１ タブレット
１１０２ ユーザ
１１０３〜１１０５ 位置
１１１１、１１１２ 領域
１３０１、１４０１、１５０１〜１５０３ 直線
１３０２ 平面
１４１１−１〜１４１１−４、１４１２−１〜１４１２−４ 候補位置
２７１１ 誘導情報生成部
２７２１ 誘導情報
２８０１ 矢印
３００１ ＣＰＵ
３００２ メモリ
３００３ 入力装置
３００４ 出力装置
３００５ 補助記憶装置
３００６ 媒体駆動装置
３００７ ネットワーク接続装置
３００８ バス
３００９ 可搬型記録媒体

Claims (7)

1. 物体の形状を表す複数の線分を含む形状情報を記憶する記憶部と、
   第１の撮影位置から撮像装置によって撮影した前記物体を含む第１画像から、複数の特徴線を検出する検出部と、
   前記複数の線分それぞれを前記第１画像上に投影することにより生成される複数の投影線と、前記複数の特徴線との位置関係に基づいて、前記複数の特徴線のうち、前記物体の形状の不良部分を表す特徴線を特定する特定部と、
   前記物体を含む第２画像を撮像装置によって撮影する第２の撮影位置の候補である複数の候補位置を、前記第１の撮影位置に基づいて設定するとともに、前記複数の候補位置それぞれの評価値を計算する計算部と、
   前記複数の候補位置それぞれの評価値に基づいて、前記複数の候補位置のうち、いずれかの候補位置を決定する決定部と、
   決定した前記候補位置を認知可能な情報を出力する出力部と、
   を備えることを特徴とする画像処理装置。
2. 前記計算部は、前記第２の撮影位置の候補である所定数の候補位置各々を視点として用いて、前記複数の線分のうち、前記不良部分を表す特徴線に対応する投影線を生成するために用いられた特定の線分が、前記視点から観察されるか否かを判定し、前記特定の線分が前記視点から観察されない場合、前記視点として用いられた候補位置を除外し、前記特定の線分が前記視点から観察される場合、前記視点として用いられた候補位置を選択することで、前記所定数の候補位置の中から前記複数の候補位置を抽出することを特徴とする請求項１記載の画像処理装置。
3. 前記計算部は、前記第１の撮影位置と前記複数の候補位置それぞれとの距離に基づいて、前記複数の候補位置それぞれの評価値を計算することを特徴とする請求項２記載の画像処理装置。
4. 前記決定した候補位置を認知可能な情報は、前記決定した候補位置から観察される、前記複数の線分が表す前記物体の形状を示す物体形状画像であり、
   前記画像処理装置は、
   前記物体形状画像を生成する画像生成部と、
   前記撮像装置を保持するユーザを前記第１の撮影位置から前記決定した候補位置へ誘導する誘導情報を生成する誘導情報生成部とをさらに備え、
   前記出力部は、前記物体形状画像及び前記誘導情報を出力することを特徴とする請求項２又は３記載の画像処理装置。
5. 前記撮像装置は、前記決定した候補位置において前記物体を撮影することで前記第２画像を生成し、
   前記検出部は、前記第２画像から前記不良部分を表す特徴線を検出し、
   前記画像処理装置は、前記第１画像から検出された前記不良部分を表す特徴線と、前記第２画像から検出された前記不良部分を表す特徴線とを用いて、３次元線分を復元し、前記特定の線分の位置と前記３次元線分の位置との間のずれ量を求める復元部をさらに備え、
   前記出力部は、前記ずれ量を示す情報を出力することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記決定部は、前記特定の線分及び前記３次元線分に基づいて、前記不良部分を撮影するための第３の撮影位置を決定し、
   前記出力部は、前記第３の撮影位置を認知可能な情報を出力することを特徴とする請求項５記載の画像処理装置。
7. コンピュータによって実行される画像処理方法であって、
   前記コンピュータが、
   第１の撮影位置から撮像装置によって撮影した物体を含む第１画像から、複数の特徴線を検出し、
   前記物体の形状を表す複数の線分それぞれを前記第１画像上に投影することにより生成される複数の投影線と、前記複数の特徴線との位置関係に基づいて、前記複数の特徴線のうち、前記物体の形状の不良部分を表す特徴線を特定し、
   前記物体を含む第２画像を撮像装置によって撮影する第２の撮影位置の候補である複数の候補位置を、前記第１の撮影位置に基づいて設定し、
   前記複数の候補位置それぞれの評価値を計算し、
   前記複数の候補位置それぞれの評価値に基づいて、前記複数の候補位置のうち、いずれかの候補位置を決定し、
   決定した前記候補位置を認知可能な情報を出力する、
   ことを特徴とする画像処理方法。
   

Images