JP2020135446A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】物体の形状情報に含まれる線分とその物体の画像から検出された特徴線とを対応付ける処理の操作性を向上させる。【解決手段】抽出部１１２は、形状情報１２１に含まれる複数の線分の中から、複数の対象線分を抽出する。投影部１１３は、形状情報１２１に含まれる複数の線分を画像１２２の画像平面上に投影することで、複数の投影線を生成する。検出部１１４は、画像１２２から複数の特徴線を検出し、選択部１１５は、各対象線分に対する対応付け候補の特徴線を、複数の特徴線の中から選択する。表示部１１６は、物体の形状と画像１２２とを画面上に表示するとともに、各対象線分の投影線と対応付け候補の特徴線とを表示する。生成部１１７は、表示された投影線と特徴線とを対応付ける指示に基づいて、対象線分と特徴線との組み合わせを生成する。【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、拡張現実（Augmented Reality, ＡＲ）技術を用いて画像を表示するシステムが普及してきている。ＡＲ技術の一例では、パーソナルコンピュータ（Personal Computer，ＰＣ）、携帯端末装置等に搭載したカメラを用いて物体が撮影され、物体の画像から３次元空間内におけるカメラの位置及び姿勢が推定される。そして、決定されたカメラの位置及び姿勢を基準にして、画像中の任意の位置にコンテンツ情報が重畳表示される。

ＡＲ技術の応用として、物体の３次元形状を表すＣＡＤ（Computer-Aided Design）データを画像に重畳表示する技術も知られている（例えば、特許文献１及び特許文献２を参照）。線対面の対応関係又は線の対応関係から、物体又はカメラの位置及び姿勢を決定する技術も知られている（例えば、非特許文献１〜非特許文献４を参照）。

特開２０１７−９１０７８号公報 特開２０１７−１８２３０２号公報

J. Z. C. Lai,"Sensitivity Analysis of Line Correspondence", IEEE Transactions on Systems, Man, and Cybernetics VOL. 25, NO. 6, pages 1016-1023, 1995 H. H. Chen,"Pose Determination from Line-to-Plane Correspondences: Existence Condition and Closed-Form Solutions", [1990] Proceedings Third International Conference on Computer Vision, Osaka, Japan, pages 374-378, 1990 L. Zhang et al.,"Robust and Efficient Pose Estimation from Line Correspondences", ACCV 2012, Part III, LNCS 7726, pages 217-230, 2013. 廣瀬他,"線分記述子（ＬＥＨＦ）を用いた実時間ＳＬＡＭ", TVRSJ Vol. l7, No. 3, pages 201?208, 2012

物体の画像から検出された複数の特徴線と、その物体のＣＡＤデータに含まれる複数の線分を画像上に投影した複数の投影線とを対応付けることで、撮像装置の位置及び姿勢を推定することができる。しかしながら、ユーザが目視による手作業で特徴線と投影線との組み合わせを選択する場合、適切な組み合わせを選択する操作は困難である。このため、ユーザによる操作に時間がかかるとともに、特徴線と投影線との誤った組み合わせが選択される可能性もある。

なお、かかる問題は、ＣＡＤデータから撮像装置の位置及び姿勢を推定する場合に限らず、物体の形状を表す他の形状情報から撮像装置の位置及び姿勢を推定する場合においても生ずるものである。

１つの側面において、本発明は、物体の形状情報に含まれる線分とその物体の画像から検出された特徴線とを対応付ける処理の操作性を向上させることを目的とする。

１つの案では、画像処理装置は、記憶部、抽出部、投影部、検出部、選択部、表示部、及び生成部を含む。

記憶部は、３次元空間内における物体の形状を表す複数の線分を含む形状情報と、物体の画像とを記憶する。抽出部は、形状情報に含まれる複数の線分の中から、複数の対象線分を抽出する。投影部は、形状情報に含まれる複数の線分を物体の画像の画像平面上に投影することで、複数の投影線を生成する。検出部は、物体の画像から複数の特徴線を検出する。選択部は、複数の対象線分各々に対する対応付け候補の特徴線を、複数の特徴線の中から選択する。

表示部は、物体の形状と物体の画像とを画面上に表示するとともに、複数の対象線分各々の投影線と対応付け候補の特徴線とを画面上に表示する。生成部は、画面上に表示された複数の対象線分各々の投影線と対応付け候補の特徴線とを対応付ける指示に基づいて、複数の対象線分各々と対応付け候補の特徴線との組み合わせを生成する。

１つの側面において、物体の形状情報に含まれる線分とその物体の画像から検出された特徴線とを対応付ける処理の操作性を向上させることができる。

画像処理装置の機能的構成図である。 画像処理のフローチャートである。 画像処理装置の第１の具体例を示す機能的構成図である。 画面上に表示される映像を示す図である。 画像処理の第１の具体例を示すフローチャートである。 ３Ｄ線分集合生成処理のフローチャートである。 近接線分の投影線を示す図である。 追加線分を示す図である。 第１の具体例における対応ペア提示処理のフローチャートである。 対応ペア候補の投影線と特徴線を示す図である。 投影線を強調する表示処理を示す図である。 選択肢を表示する画面を示す図である。 奥行き反転の不定性を示す図である。 候補表示処理のフローチャートである。 画像処理装置の第２の具体例を示す機能的構成図である。 画面上に表示される画像を示す図である。 画像処理の第２の具体例を示すフローチャートである。 第２の具体例における対応ペア提示処理のフローチャートである。 投影処理を示す図である。 画像処理装置の第３の具体例を示す機能的構成図である。 回転軸を示す図である。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。

特許文献１の技術では、立体構造物を撮影した撮像画像から抽出されたエッジ線と、その立体構造物のモデル画像に含まれる稜線との組み合わせを用いて、画像とモデル画像とが重畳表示される。モデル画像は、立体構造物のＣＡＤデータを撮影画像上に投影することで生成され、稜線は、ＣＡＤデータに含まれる線分を撮影画像上に投影した投影線に対応する。

この場合、ユーザが選択するエッジ線及び稜線は線分であるため、点よりも視認性が良い。このため、マウス等を用いてエッジ線及び稜線を選択する操作は、点を選択する操作よりも容易であり、ユーザの作業負荷が低減される。しかしながら、特許文献１には、エッジ線と稜線との適切な組み合わせを選択する方法は記載されていない。

特許文献１のように、物体の画像から検出された特徴線と、その物体のＣＡＤデータに含まれる線分を投影した投影線との組み合わせを、ユーザが目視による手作業で選択する場合、次のような問題が発生する。

ユーザが熟練者ではない場合、物体の画像とＣＡＤデータが表す物体のモデルとが表示された画面上でモデルを適切な向きに回転させる操作、及び特徴線と投影線との適切な組み合わせを選択する操作は、困難を伴う。例えば、カメラの位置及び姿勢の推定精度を向上させるためには、選択される複数の特徴線又は選択される複数の投影線に、３本の平行な特徴線又は３本の平行な投影線が含まれないことが望ましい。このため、特徴線と投影線との適切な組み合わせを選択する操作に時間がかかるとともに、特徴線と投影線との誤った組み合わせが選択される可能性もある。

一方、ユーザが特徴線及び投影線を選択する代わりに、複数の特徴線と複数の投影線との組み合わせを無作為に選択してカメラの位置及び姿勢を推定し、推定誤差が最小となる組み合わせを決定することも可能である。しかしながら、この場合、複数の特徴線と複数の投影線との組み合わせを変更しながら、カメラの位置及び姿勢を推定する処理が繰り返されるため、計算時間が長時間に及ぶことになる。

図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１、抽出部１１２、投影部１１３、検出部１１４、選択部１１５、表示部１１６、及び生成部１１７を含む。記憶部１１１は、３次元空間内における物体の形状を表す複数の線分を含む形状情報１２１と、物体の画像１２２とを記憶する。抽出部１１２、投影部１１３、検出部１１４、選択部１１５、表示部１１６、及び生成部１１７は、記憶部１１１が記憶する形状情報１２１及び画像１２２を用いて、画像処理を行う。

図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、抽出部１１２は、形状情報１２１に含まれる複数の線分の中から、複数の対象線分を抽出する（ステップ２０１）。そして、投影部１１３は、形状情報１２１に含まれる複数の線分を画像１２２の画像平面上に投影することで、複数の投影線を生成する（ステップ２０２）。

次に、検出部１１４は、物体の画像から複数の特徴線を検出する（ステップ２０３）。そして、選択部１１５は、複数の対象線分各々に対する対応付け候補の特徴線を、複数の特徴線の中から選択する（ステップ２０４）。

次に、表示部１１６は、形状情報１２１が表す物体の形状と画像１２２とを画面上に表示するとともに、各対象線分の投影線と、その対象線分に対する対応付け候補の特徴線とを、画面上に表示する（ステップ２０５）。そして、生成部１１７は、画面上に表示された各対象線分の投影線と対応付け候補の特徴線とを対応付ける指示に基づいて、その対象線分と対応付け候補の特徴線との組み合わせを生成する（ステップ２０６）。

図１の画像処理装置１０１によれば、物体の形状情報に含まれる線分とその物体の画像から検出された特徴線とを対応付ける処理の操作性を向上させることができる。

図３は、図１の画像処理装置１０１の第１の具体例を示している。図３の画像処理装置３０１は、記憶部３１１、撮像装置３１２、抽出部３１３、投影部３１４、検出部３１５、選択部３１６、表示部３１７、生成部３１８、受付部３１９、推定部３２０、及び追跡部３２１を含む。

記憶部３１１、抽出部３１３、投影部３１４、検出部３１５、選択部３１６、表示部３１７、及び生成部３１８は、図１の記憶部１１１、抽出部１１２、投影部１１３、検出部１１４、選択部１１５、表示部１１６、及び生成部１１７にそれぞれ対応する。

画像処理装置１０１は、タブレット、スマートデバイス、ノート型ＰＣ等の携帯端末装置であってもよい。

撮像装置３１２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、３次元空間内に存在する物体の画像３３１を撮影する。撮像装置３１２は、撮影した画像３３１を記憶部３１１へ出力し、記憶部３１１は、画像３３１を記憶する。画像３３１は、図１の画像１２２に対応する。撮影対象の物体は、道路、橋梁、建築物等の構造物であってもよく、船舶、車両、電子機器等の製造物であってもよい。

例えば、ユーザは、３次元空間内において画像処理装置３０１を動かしながら、撮像装置３１２により物体の映像を撮影する。このとき、ユーザは、２次元平面上の回転及び平行移動（３自由度）の範囲内で、画像処理装置３０１を動かしてもよい。撮像装置３１２は、画像処理装置３０１とともに動きながら、所定のフレームレートで映像を撮影し、その映像に含まれる複数時刻各々の物体の画像が、画像３３１として記憶部３１１に格納される。

記憶部３１１は、撮像装置３１２が撮影した物体の形状を表す３次元モデル（３Ｄモデル）３３２を記憶している。３Ｄモデル３３２は、図１の形状情報１２１に対応し、例えば、物体のＣＡＤデータである。３Ｄモデル３３２は、物体の３次元形状を表す複数の頂点の頂点情報と、複数の線分の線分情報とを含む。頂点情報は、物体の各頂点の３次元座標を含み、線分情報は、各線分の両端の頂点である端点を示す識別情報を含む。

抽出部３１３は、３Ｄモデル３３２に含まれる複数の線分の中から、３次元空間内における撮像装置３１２の位置及び姿勢を推定するために用いられる、Ｎ本（Ｎは３以上の整数）の対象線分を抽出する。そして、抽出部３１３は、抽出したＮ本の対象線分を含む３次元線分集合（３Ｄ線分集合）３３３を生成して、記憶部３１１に格納する。

投影部３１４は、３Ｄモデル３３２に含まれる複数の線分を画像３３１の画像平面上に投影することで、複数の投影線を生成する。

検出部３１５は、画像３３１に対するエッジ検出処理を行って、画像３３１から複数のエッジ線を検出し、検出したエッジ線を特徴線３３４として記憶部３１１に格納する。そして、選択部３１６は、３Ｄ線分集合３３３に含まれる各線分に対する対応付け候補の特徴線を、複数の特徴線３３４の中から選択する。

表示部３１７は、物体を撮影したリアルタイムの映像を画面上に表示し、各線分の投影線を用いて、３Ｄモデル３３２が表す物体の形状を画面上に表示する。これにより、各時刻の物体の画像３３１と物体の形状とが、画面上に重畳表示される。さらに、表示部３１７は、３Ｄ線分集合３３３に含まれる各線分の投影線と、その線分に対する対応付け候補の特徴線とを、画面上に表示する。

ユーザは、表示された投影線と特徴線とが対応しているか否かを確認し、それらが対応していると判断した場合、投影線と特徴線とを対応付ける指示を画像処理装置３０１に入力する。受付部３１９は、入力された指示を受け付ける。

生成部３１８は、入力された指示に基づいて、表示された投影線に対応する線分と表示された特徴線との組み合わせ（対応ペア）を生成し、対応ペア３３５として記憶部３１１に格納する。

追跡部３２１は、撮像装置３１２が動きながら撮影する複数時刻の画像３３１の間で、対応ペア３３５に含まれる特徴線を追跡する。そして、生成部３１８は、対応ペア３３５に含まれる特徴線を、各画像３３１から検出された複数の特徴線３３４のうち、追跡された特徴線に変更することで、対応ペア３３５を更新する。

表示部３１７は、３Ｄモデル３３２が表す物体の形状を、画面上の所定位置に固定して表示するとともに、撮像装置３１２の動きに応じて、複数時刻の画像３３１を時系列に表示する。

推定部３２０は、３Ｄ線分集合３３３に含まれるＮ本の線分から生成されたＮ個の対応ペア３３５の一部又は全部を用いて、３次元空間内における撮像装置３１２の位置及び姿勢を推定し、推定した位置及び姿勢を表す推定結果を生成する。

図４は、画像処理装置３０１の画面上に表示される映像の例を示している。図４（ａ）は、第１時刻における画面の例を示しており、図４（ｂ）は、第２時刻における画面の例を示しており、図４（ｃ）は、第３時刻における画面の例を示している。

いずれの時刻においても、物体の形状４０１は、画面の中央付近に固定して表示されており、３Ｄ線分集合３３３に含まれる１本の線分の投影線４０２が、物体の形状４０１に重畳して表示されている。画面右下の隅にはＯＫボタン４０３が表示されている。

図４（ａ）では、物体の画像４１１は、物体の形状４０１の右側の離れた位置に表示されており、図４（ｂ）では、物体の画像４１２は、物体の形状４０１の右側の近い位置に表示されている。図４（ｃ）では、物体の画像４１３は、物体の形状４０１に重畳して表示されている。

ユーザは、図４（ａ）の画面を見ながら、物体の画像４１１が物体の形状４０１に重なるように、画像処理装置３０１の位置及び姿勢を少しずつ変化させる。これにより、図４（ｂ）が示すように、画面上で物体の画像４１２が物体の形状４０１に近づいていき、図４（ｃ）が示すように、物体の画像４１３上に物体の形状４０１が重畳される。ただし、物体の画像４１３と物体の形状４０１とが完全に重なる必要はなく、投影線４０２に対応する画像４１３上の特徴線が投影線４０２の近くに存在していればよい。

このとき、画像処理装置３０１は、ユーザに対して、物体の画像が物体の形状４０１に重なるように画像処理装置３０１を動かす操作を促すメッセージを出力してもよい。出力されるメッセージは、テキストメッセージであってもよく、音声メッセージであってもよい。

画像処理装置３０１は、各時刻において、投影線４０２に対する対応付け候補の特徴線を画面上に表示し、ユーザは、投影線４０２と表示された特徴線とが対応していると判断した場合、ＯＫボタン４０３を押す。これにより、投影線と特徴線とを対応付ける指示が画像処理装置３０１に入力される。このような操作を、３Ｄ線分集合３３３に含まれる線分毎に繰り返すことで、Ｎ個の対応ペア３３５が生成される。

図３の画像処理装置３０１によれば、対応ペア３３５の候補となる線分及び特徴線が自動的に提示される。このため、ユーザは、線分及び特徴線を自ら選択しなくても、画像処理装置３０１を動かしながらＯＫボタン４０３を押すだけで、対応ペア３３５が生成される。したがって、ユーザの操作負荷が削減され、ユーザが熟練者ではない場合であっても、短時間で容易に対応ペア３３５を生成することができる。このようにして対応ペア３３５を生成することで、撮像装置３１２の位置及び姿勢を推定する推定処理が効率化される。

図５は、図３の画像処理装置３０１が行う画像処理の第１の具体例を示すフローチャートである。まず、抽出部３１３は、３次元空間内における３Ｄモデル３３２の初期位置及び初期姿勢と、撮像装置３１２の初期位置及び初期姿勢とを決定する（ステップ５０１）。これらの初期位置及び初期姿勢は、ユーザによって指定された位置及び姿勢であってもよい。

次に、抽出部３１３は、３Ｄモデル３３２から線分を抽出し（ステップ５０２）、抽出された線分の中から、撮像装置３１２の位置及び姿勢の推定に適したＮ本の対象線分を抽出して、３Ｄ線分集合３３３を生成する（ステップ５０３）。そして、選択部３１６は、３Ｄ線分集合３３３に含まれるすべての線分を選択したか否かをチェックする（ステップ５０４）。

未選択の線分が存在する場合（ステップ５０４，ＮＯ）、画像処理装置３０１は、対応ペア提示処理を行う（ステップ５０５）。対応ペア提示処理において、投影部３１４は、３Ｄモデル３３２から抽出された線分の投影線を生成し、表示部３１７は、物体の画像３３１と３Ｄモデル３３２が表す物体の形状とを、画面上に表示する。

また、選択部３１６は、３Ｄ線分集合３３３から１本の線分を選択し、その線分に対する対応付け候補の特徴線を選択する。そして、表示部３１７は、選択された線分の投影線と対応付け候補の特徴線とを、対応ペア候補として画面上に表示する。

ユーザが対応ペア候補を確定させる指示を入力した場合、生成部３１８は、対応ペア候補の投影線に対応する線分と対応ペア候補の特徴線とを含む対応ペア３３５を生成する。そして、生成部３１８は、撮像装置３１２の位置及び姿勢を推定可能であるか否かを判定する（ステップ５０６）。

例えば、生成部３１８は、３Ｄ線分集合３３３からＰ個（３≦Ｐ≦Ｎ）の対応ペア３３５が生成されている場合に、撮像装置３１２の位置及び姿勢を推定可能であると判定することができる。

撮像装置３１２の位置及び姿勢を推定可能ではない場合（ステップ５０６，ＮＯ）、画像処理装置３０１は、ステップ５０４以降の処理を繰り返す。一方、撮像装置３１２の位置及び姿勢を推定可能である場合（ステップ５０６，ＹＥＳ）、推定部３２０は、生成されたＰ個の対応ペア３３５を用いて、撮像装置３１２の位置及び姿勢を推定する（ステップ５０７）。例えば、推定部３２０は、特許文献２、非特許文献２、又は非特許文献３に記載された計算方法により、撮像装置３１２の位置及び姿勢を計算することができる。

次に、推定部３２０は、撮像装置３１２の位置及び姿勢の推定誤差を計算し、推定誤差を閾値ＴＨと比較する（ステップ５０８）。例えば、推定部３２０は、特許文献２に記載された計算方法により、推定誤差を計算することができる。

推定誤差が閾値ＴＨ以上である場合（ステップ５０８，ＮＯ）、画像処理装置３０１は、ステップ５０４以降の処理を繰り返す。一方、推定誤差が閾値ＴＨよりも小さい場合（ステップ５０８，ＹＥＳ）、画像処理装置３０１は、処理を終了する。

図６は、図５のステップ５０３における３Ｄ線分集合生成処理の例を示すフローチャートである。まず、抽出部３１３は、最初の３Ｄ線分集合３３３を生成するか否かをチェックする（ステップ６０１）。ステップ５０２に続いてステップ５０３の処理が行われる場合、最初の３Ｄ線分集合３３３を生成すると判定される。一方、ステップ５０４に続いてステップ５０３の処理が行われる場合、最初の３Ｄ線分集合３３３ではなく、２番目以降の３Ｄ線分集合３３３を生成すると判定される。

最初の３Ｄ線分集合３３３を生成する場合（ステップ６０１，ＹＥＳ）、抽出部３１３は、ステップ５０２で抽出された線分のうち、近接線分を処理対象から除外する（ステップ６０２）。

図７は、近接線分の投影線の例を示している。物体の形状を表す線分の投影線のうち、投影線７０１と投影線７０２は互いに近接しており、投影線７０３と投影線７０４も互いに近接している。別の投影線に近接している投影線を持つ線分を３Ｄ線分集合３３３に加えた場合、その線分を無関係の特徴線と誤って対応付ける可能性がある。

そこで、抽出部３１３は、２本の投影線の距離が所定値よりも小さい場合、それらの投影線に対応する２本の線分を近接線分とみなして、処理対象から除外する。これにより、線分と特徴線とを誤って対応付ける可能性が低下する。

次に、抽出部３１３は、近接線分以外の線分から、３本の線分の集合（線分集合）を複数個生成する（ステップ６０３）。３本の線分の組み合わせの総数をＭ個とすると、最大でＭ個の線分集合が生成される。

次に、抽出部３１３は、複数個の線分集合それぞれを評価して評価値を求める（ステップ６０４）。線分集合を用いて推定される撮像装置３１２の位置及び姿勢の推定精度が高いほど、その線分集合の評価値が高くなる。例えば、抽出部３１３は、非特許文献１に記載されたセンシティビティ解析により、線分集合の評価値を求めることができる。

次に、抽出部３１３は、それらの線分集合を評価値が高い順にソートする（ステップ６０５）。抽出部３１３は、生成された線分集合のうち、所定値以上の評価値を有する線分集合のみをソートしてもよい。そして、抽出部３１３は、最高の評価値を有する線分集合を３Ｄ線分集合３３３として選択する（ステップ６０６）。この場合、３Ｄ線分集合３３３に含まれる線分の本数は、３本である。

一方、２番目以降の３Ｄ線分集合３３３を生成する場合（ステップ６０１，ＮＯ）、抽出部３１３は、追加線分探索を行う（ステップ６０７）。

追加線分探索において、抽出部３１３は、直前に生成された３Ｄ線分集合３３３に含まれる２本の線分に、３Ｄ線分集合３３３とは別の１本の線分を追加することで、３本の線分を含む線分集合を複数個生成する。

図８は、追加線分の例を示している。図８（ａ）は、ステップ６０２〜ステップ６０６の処理により生成された、最初の３Ｄ線分集合３３３に含まれる線分の投影線の例を示している。投影線８０１〜投影線８０３に対応する３本の線分は、最初の３Ｄ線分集合３３３に含まれている。

図８（ｂ）は、最初の３Ｄ線分集合３３３に対して追加される第１の追加線分の投影線の例を示している。この場合、最初の３Ｄ線分集合３３３に含まれている３本の線分のうち、投影線８０２及び投影線８０３に対応する２本の線分が選択され、さらに投影線８０４に対応する１本の線分が追加されて、線分集合が生成される。

図８（ｃ）は、最初の３Ｄ線分集合３３３に対して追加される第２の追加線分の投影線の例を示している。この場合、最初の３Ｄ線分集合３３３に含まれている３本の線分のうち、投影線８０１及び投影線８０２に対応する２本の線分が選択され、さらに投影線８０５に対応する１本の線分が追加されて、線分集合が生成される。

次に、抽出部３１３は、複数個の線分集合それぞれを評価した結果に基づいて、いずれかの線分集合を選択する。例えば、抽出部３１３は、ステップ６０４と同様にして、複数個の線分集合それぞれの評価値を求め、それらの線分集合を評価値が高い順にソートして、最高の評価値を有する線分集合を選択する。そして、抽出部３１３は、選択された線分集合内の追加された線分を、追加線分として抽出する。

なお、抽出部３１３は、追加線分探索において生成された線分集合に含まれる２本の線分に、別の１本の線分を追加することで、３本の線分を含む新たな線分集合をさらに生成し、その線分集合を含めて評価を行ってもよい。

次に、抽出部３１３は、直前に生成された３Ｄ線分集合３３３に追加線分を追加することで、３Ｄ線分集合３３３を更新する（ステップ６０８）。この場合、３Ｄ線分集合３３３に含まれる線分の本数は、直前に生成された３Ｄ線分集合３３３よりも１本だけ増加している。

図６の３Ｄ線分集合生成処理によれば、撮像装置３１２の位置及び姿勢の推定精度が高くなることが期待できる、３Ｄ線分集合３３３を生成することができる。

図９は、図５のステップ５０５における対応ペア提示処理の例を示すフローチャートである。まず、検出部３１５は、映像に含まれる処理対象の画像３３１を取得し（ステップ９０１）、取得した画像３３１から複数の特徴線３３４を検出する（ステップ９０２）。

次に、追跡部３２１は、取得した画像３３１と直前の時刻の画像３３１との間で、対応ペア３３５に含まれる特徴線を追跡する（ステップ９０３）。例えば、追跡部３２１は、非特許文献４に記載された線分記述子を利用して、画像間で特徴線を追跡することができる。

画像処理装置３０１に加速度センサ、ジャイロセンサ、地磁気センサ等のセンサが搭載されている場合、追跡部３２１は、センサが取得した情報に基づいて、画像処理装置３０１の基準位置からの位置の変化と、基準姿勢からの姿勢の変化とを推定してもよい。基準位置及び基準姿勢は、画像処理の開始時における画像処理装置３０１の位置及び姿勢である。この場合、追跡部３２１は、推定された位置及び姿勢の変化を利用して、画像間で特徴線を追跡する。

そして、生成部３１８は、対応ペア３３５に含まれる特徴線を、追跡された特徴線に変更することで、取得した画像３３１に対する対応ペア３３５を生成する。

次に、画像処理装置３０１は、候補表示処理を行う（ステップ９０４）。候補表示処理において、選択部３１６は、３Ｄ線分集合３３３から１本の線分を選択し、その線分に対する対応付け候補の特徴線を選択する。そして、表示部３１７は、選択された線分の投影線と対応付け候補の特徴線とを、対応ペア候補として画面上に表示する。

例えば、選択部３１６は、選択した線分の投影線に最も近い特徴線を、対応付け候補の特徴線として選択することができる。この場合、選択部３１６は、選択した線分の投影線の中点から各特徴線３３４に対する垂線を求め、最も短い垂線を有する特徴線３３４を、対応付け候補の特徴線として選択する。

図１０は、対応ペア候補の投影線と特徴線の例を示している。３Ｄ線分集合３３３から選択された線分の投影線１００１の中点１０１１から特徴線１００２及び特徴線１００３に対する垂線を求めると、特徴線１００２に対する垂線の方が特徴線１００３に対する垂線よりも短い。この場合、特徴線１００２が、投影線１００１に対する対応付け候補の特徴線として選択される。

選択された線分の投影線に最も近い特徴線を、対応付け候補の特徴線として選択することで、ユーザが特徴線を選択する操作が不要になるとともに、精度の高い対応ペア候補を提示することができる。なお、選択部３１６は、選択された線分の投影線と各特徴線３３４との角度を求め、閾値よりも小さな角度を有する特徴線３３４の中から、投影線に最も近い特徴線を選択してもよい。

図１１は、対応ペア候補の投影線を強調する表示処理の例を示している。表示部３１７は、対応ペア候補の投影線１１０１の中点にマーク１１１１を表示することによって、投影線１１０１の中点を強調表示する。これにより、対応付け候補の特徴線１１０２に対する投影線１１０１の角度が大きい場合であっても、投影線１１０１と特徴線１１０２との位置関係を視認しやすくなる。したがって、ユーザが対応付け候補の特徴線１１０２を確認する作業が容易になる。

ユーザは、表示された対応ペア候補の投影線と特徴線との位置関係を確認し、投影線と特徴線とが対応していると判断した場合、ＯＫボタン等を操作して、その対応ペア候補を確定させる指示（候補確定指示）を入力する。

選択部３１６は、候補確定指示が入力されたか否かをチェックする（ステップ９０５）。候補確定指示が入力されない場合（ステップ９０５，ＮＯ）、画像処理装置３０１は、映像に含まれる次の画像３３１を処理対象として、ステップ９０１以降の処理を繰り返す。

そして、候補確定指示が入力された場合（ステップ９０５，ＹＥＳ）、生成部３１８は、対応ペア候補の投影線に対応する線分と対応ペア候補の特徴線とを含む対応ペア３３５を生成する（ステップ９０６）。

図９のステップ９０４において、選択部３１６は、複数の特徴線を対応付け候補として選択することも可能である。

例えば、選択部３１６は、対応ペア候補の投影線に対する距離が所定値よりも小さい複数の特徴線を、対応付け候補の特徴線として選択する。そして、表示部３１７は、選択された複数の特徴線を、対応付け候補の選択肢として画面上に表示する。この場合、生成部３１８は、対応ペア候補の投影線と、選択肢として表示された複数の特徴線の中から選択された特徴線とを対応付ける指示に基づいて、対応ペア３３５を生成する。

図１２は、対応付け候補の選択肢を表示する画面の例を示している。この例では、物体の形状１２０１に物体の画像１２０２が重畳して表示され、対応ペア候補の投影線１２１１に対する対応付け候補として、特徴線１２１２及び特徴線１２１３が表示されている。特徴線１２１２及び特徴線１２１３は、それぞれ、青の線分及び緑の線分として表示される。

ユーザは、固定ボタン１２２１を押して、物体の形状１２０１及び物体の画像１２０２の重畳表示を固定し、青ボタン１２２２又は緑ボタン１２２３のいずれかを押すことによって、特徴線１２１２又は特徴線１２１３を選択する。

このように、複数の特徴線を選択肢として表示することで、ユーザは、対応ペア候補の投影線に最も近い特徴線以外の特徴線を、その投影線に対応付けることが可能になる。なお、多数の特徴線が選択肢に含まれる場合は、それらの特徴線が複数の画面に分けて表示され、次の画面又は前の画面を選択可能な切り替えボタンが各画面上に表示される。

ところで、撮像装置３１２の位置及び姿勢は、通常、４個以上の対応ペアを用いて確定することができる。一方、３個の対応ペアのみを用いた場合、Bas-relief不定性の一種である奥行き反転（depth reversal）の不定性が、撮像装置３１２の位置及び姿勢の推定結果に含まれる。

図１３は、奥行き反転の不定性の例を示している。図１３（ａ）は、所定の視点から観察した多面体の物体１３０１の例を示している。この場合、物体１３０１の頂点１３１１は、物体１３０１の外周線よりも手前（視点と同じ側）に存在する。図１３（ｂ）は、反対側の別の視点から観察した物体１３０１の例を示している。この場合、物体１３０１の頂点１３１１は、物体１３０１の外周線よりも奥（視点の反対側）に存在する。

しかし、３個の対応ペアのみを用いた場合、視点が頂点１３１１と同じ側又は反対側のいずれに存在するかが定まらず、撮像装置３１２の位置に奥行き反転の不定性が生じる。

このように、奥行き反転の不定性が生じる場合であっても、３次元空間内における物体の位置及び姿勢が３Ｄモデル３３２の初期位置及び初期姿勢に近い、という拘束条件を用いることで、奥行き反転の推定結果を除外することができる。したがって、３個の対応ペアのみを用いて撮像装置３１２の位置及び姿勢を確定することも可能である。

そこで、選択部３１６は、３Ｄ線分集合３３３の線分のうち、３本の線分に対する３個の対応ペア３３５が生成された後に、４本目の線分に対する対応付け候補の特徴線を選択する場合、それらの対応ペア３３５を用いて撮像装置３１２の位置及び姿勢を推定する。

投影部３１４は、推定された撮像装置３１２の位置及び姿勢を用いて、４本目の線分を画像平面上に投影することで、４本目の線分の投影線を生成する。そして、選択部３１６は、４本目の線分の投影線に基づいて、その線分に対する対応付け候補の特徴線を選択する。

図１４は、このような拘束条件を用いた場合の図９のステップ９０４における候補表示処理の例を示すフローチャートである。まず、選択部３１６は、３Ｄ線分集合３３３から１本の線分を処理対象として選択し、処理対象の線分が４本目以降の線分であるか否かをチェックする（ステップ１４０１）。

処理対象の線分が１本目〜３本目の線分である場合（ステップ１４０１，ＮＯ）、投影部３１４は、撮像装置３１２の初期位置及び初期姿勢を用いて、処理対象の線分を画像平面上に投影することで、処理対象の線分の投影線を生成する（ステップ１４０９）。そして、選択部３１６は、処理対象の線分の投影線を用いて、対応付け候補の特徴線を選択し（ステップ１４０６）、表示部３１７は、その投影線と特徴線とを対応ペア候補として画面上に表示する（ステップ１４０７）。

一方、処理対象の線分が４本目以降の線分である場合（ステップ１４０１，ＹＥＳ）、選択部３１６は、その線分が４本目の線分であるか否かをチェックする（ステップ１４０２）。処理対象の線分が４本目の線分である場合（ステップ１４０２，ＹＥＳ）、選択部３１６は、１本目〜３本目の線分から生成されている３個の対応ペア３３５を用いて、撮像装置３１２の位置及び姿勢を推定する（ステップ１４０３）。そして、選択部３１６は、物体の位置及び姿勢が３Ｄモデル３３２の初期位置及び初期姿勢に近い、という拘束条件を用いて、２つの推定結果のうち、正しい方の推定結果を選択する（ステップ１４０４）。

次に、投影部３１４は、選択された推定結果を用いて、処理対象の線分を画像平面上に投影することで、処理対象の線分の投影線を生成する（ステップ１４０５）。そして、画像処理装置３０１は、ステップ１４０６以降の処理を行う。

一方、処理対象の線分が５本目以降の線分である場合（ステップ１４０２，ＮＯ）、選択部３１６は、既に生成されている４個以上の対応ペア３３５を用いて、撮像装置３１２の位置及び姿勢を推定する（ステップ１４０８）。そして、画像処理装置３０１は、ステップ１４０５以降の処理を行う。

図１４の候補表示処理によれば、３本の線分に対する３個の対応ペア３３５のみを用いて撮像装置３１２の位置及び姿勢を確定し、４本目の線分に対する対応付け候補の特徴線を、精度良く選択することができる。

図９のステップ９０４において、選択された線分に対する対応付け候補の特徴線が見つからない場合、ステップ９０５において、ユーザが対応ペア提示処理を終了する指示を入力してもよい。この場合、画像処理装置３０１は、ステップ９０６の処理をスキップして、図５のステップ５０６以降の処理を行う。

図１５は、図１の画像処理装置１０１の第２の具体例を示している。図１５の画像処理装置１５０１は、図３の画像処理装置３０１において、追跡部３２１を変化推定部１５１１に置き換えた構成を有する。

この場合、ユーザは、撮像装置３１２により、１時刻における物体の画像３３１を撮影した後、３次元空間内において画像処理装置１５０１を動かすことによって、３Ｄモデル３３２が表す物体の形状を画面上で変化させる。このとき、ユーザは、２次元平面上の回転及び平行移動（３自由度）の範囲内で、画像処理装置１５０１を動かしてもよい。

変化推定部１５１１は、撮像装置３１２の位置及び姿勢の変化を推定し、投影部３１４は、推定された変化に基づいて、３Ｄモデル３３２に含まれる複数の線分を画像平面上に投影することで、撮像装置３１２の動きに応じた複数の投影線を生成する。そして、表示部３１７は、画面上の所定位置に物体の画像３３１を表示するとともに、撮像装置３１２の動きに応じた複数の投影線を用いて、物体の形状を表示する。

図１６は、画像処理装置１５０１の画面上に表示される画像の例を示している。図１６（ａ）は、第１時刻における画面の例を示しており、図１６（ｂ）は、第２時刻における画面の例を示しており、図１６（ｃ）は、第３時刻における画面の例を示している。いずれの時刻においても、物体の画像１６０１は、画面の中央付近に固定して表示され、画面右下の隅にはＯＫボタン１６０３が表示されている。

図１６（ａ）では、物体の形状１６１１が、物体の画像１６０１に重畳して表示されており、３Ｄ線分集合３３３に含まれる１本の線分の投影線１６２１が、物体の形状１６１１に重畳して表示されている。

図１６（ｂ）では、物体の形状１６１２が、物体の画像１６０１に重畳して表示されており、図１６（ａ）と同じ線分の投影線１６２２が、物体の形状１６１２に重畳して表示されている。

図１６（ｃ）では、物体の形状１６１３が、物体の画像１６０１に重畳して表示されており、図１６（ａ）と同じ線分の投影線１６２３が、物体の形状１６１３に重畳して表示されている。

物体の形状１６１１〜物体の形状１６１３は、３次元空間において同じ位置に固定されているように見える。ユーザは、図１６（ａ）の画面を見ながら、物体の形状１６１１が物体の画像１６０１に重なるように、画像平面上で画像処理装置１５０１を平行に移動させる。これにより、図１６（ｂ）が示すように、画面上で物体の画像１６０１に対する物体の形状１６１２の位置が変化する。

次に、ユーザは、図１６（ｂ）の画面を見ながら、物体の形状１６１２が物体の画像１６０１に重なるように、画像平面に垂直な軸の周りに画像処理装置１５０１を回転させる。これにより、図１６（ｃ）が示すように、物体の形状１６１３が物体の画像１６０１に重畳される。

このとき、画像処理装置１５０１は、ユーザに対して、物体の形状が物体の画像１６０１に重なるように画像処理装置１５０１を動かす操作を促すメッセージを出力してもよい。

画像処理装置１５０１は、各時刻において、投影線に対する対応付け候補の特徴線を画面上に表示し、ユーザは、投影線と表示された特徴線とが対応していると判断した場合、ＯＫボタン１６０３を押す。これにより、投影線と特徴線とを対応付ける指示が画像処理装置１５０１に入力される。このような操作を、３Ｄ線分集合３３３に含まれる線分毎に繰り返すことで、Ｎ個の対応ペア３３５が生成される。

図１５の画像処理装置１５０１によれば、対応ペア３３５の候補となる線分及び特徴線が自動的に提示される。このため、ユーザは、線分及び特徴線を自ら選択しなくても、画像処理装置１５０１を動かしながらＯＫボタン１６０３を押すだけで、対応ペア３３５が生成される。したがって、ユーザの操作負荷が削減され、ユーザが熟練者ではない場合であっても、短時間で容易に対応ペア３３５を生成することができる。このようにして対応ペア３３５を生成することで、撮像装置３１２の位置及び姿勢を推定する推定処理が効率化される。

図１７は、図１５の画像処理装置１５０１が行う画像処理の第２の具体例を示すフローチャートである。図１７のステップ１７０１及びステップ１７０２の処理は、図９のステップ９０１及びステップ９０２の処理と同様である。ステップ１７０３〜ステップ１７０６及びステップ１７０８〜ステップ１７１０の処理は、図５のステップ５０１〜ステップ５０４及びステップ５０６〜ステップ５０８の処理と同様である。

ステップ１７０７において、画像処理装置１５０１は、対応ペア提示処理を行う。対応ペア提示処理において、ユーザが画像処理装置１５０１を動かした場合、変化推定部１５１１は、撮像装置３１２の位置及び姿勢の変化を推定し、表示部３１７は、撮像装置３１２の動きに応じて、表示される物体の形状を変更する。

次に、選択部３１６は、３Ｄ線分集合３３３から１本の線分を選択し、その線分に対する対応付け候補の特徴線を選択する。そして、表示部３１７は、選択された線分の投影線と対応付け候補の特徴線とを、対応ペア候補として画面上に表示する。ユーザが対応ペア候補を確定させる指示を入力した場合、生成部３１８は、対応ペア候補の投影線に対応する線分と対応ペア候補の特徴線とを含む対応ペア３３５を生成する。

図１８は、図１７のステップ１７０７における対応ペア提示処理の例を示すフローチャートである。図１８のステップ１８０３〜ステップ１８０５の処理は、図９のステップ９０４〜ステップ９０６の処理と同様である。

まず、変化推定部１５１１は、撮像装置３１２の位置及び姿勢の変化を推定する（ステップ１８０１）。例えば、変化推定部１５１１は、画像間における特徴点追跡を行うことで、撮像装置３１２の位置及び姿勢の変化を推定することができる。画像処理装置１５０１に加速度センサ、ジャイロセンサ、地磁気センサ等のセンサが搭載されている場合、変化推定部１５１１は、センサが取得した情報に基づいて、撮像装置３１２の位置及び姿勢の変化を推定してもよい。

次に、投影部３１４は、推定された変化に基づいて、３Ｄモデル３３２に含まれる複数の線分を画像平面上に投影することで、撮像装置３１２の動きに応じた複数の投影線を生成する（ステップ１８０２）。そして、選択部３１６及び表示部３１７は、撮像装置３１２の動きに応じた複数の投影線を用いて、候補表示処理を行う（ステップ１８０３）。

図１９は、図１８のステップ１８０２における投影処理の例を示している。物体１９０１の形状を表す３Ｄモデル１９０２の位置及び姿勢は、３次元空間の基準座標系１９０３に対して固定されている。

図１９（ａ）は、撮像装置３１２が物体１９０１の画像１９３１を撮影したときの画像処理装置１５０１の画面の例を示している。画像処理装置１５０１は、基準座標系１９０３における位置ベクトル１９１１が示す位置に存在する。物体１９０１の画像１９３１は、画面の中央付近に固定して表示され、物体１９０１の形状１９４１は、画像１９３１に重畳して表示されている。

図１９（ｂ）は、ユーザが画像処理装置１５０１を動かしたときの画面の例を示している。画像処理装置１５０１は、基準座標系１９０３における位置ベクトル１９１２が示す位置に移動し、矢印１９２１の向きに回転している。この場合、画面上における物体１９０１の画像１９３１は変化しない。一方、撮像装置３１２の位置及び姿勢が基準座標系１９０３に対して変化しているため、画像１９３１に対する物体１９０１の形状１９４２の位置及び姿勢は変化している。

時刻１において撮像装置３１２が物体１９０１の画像１９３１を撮影し、時刻２以降においてユーザが画像処理装置１５０１を動かした場合、図１９の投影処理は、以下のようなパラメータを用いて記述することができる。

Ｃｊ：時刻ｊ（ｊ＝１，２，．．．）における撮像装置３１２の座標系
Ｒｗ（Ｃｊ）：基準座標系１９０３から座標系Ｃｊへの回転行列
Ｔｗ（Ｃｊ）：座標系Ｃｊにおける、基準座標系１９０３から座標系Ｃｊへの並進ベクトル
Ｒ（ｊ）：座標系Ｃ１から座標系Ｃｊ（ｊ＝２，３，．．．）への回転行列
Ｔ（ｊ）：座標系Ｃ１における、座標系Ｃ１から座標系Ｃｊへの並進ベクトル
Ｒ（ｊ）は、時刻１から時刻ｊの間における撮像装置３１２の姿勢の変化を表し、Ｔ（ｊ）は、時刻１から時刻ｊの間における撮像装置３１２の位置の変化を表す。基準座標系１９０３の原点に３Ｄモデル１９０２が配置されている場合、座標系Ｃｊにおける３Ｄモデル１９０２上の点ｐの位置ベクトルｐｗ（Ｃｊ）は、次式により表される。

ｐｗ（Ｃｊ）＝Ｒｗ（Ｃｊ）ｐｗ＋Ｔｗ（Ｃｊ） （１）

式（１）の右辺のｐｗは、基準座標系１９０３における３Ｄモデル１９０２上の点ｐの位置ベクトルを表す。このとき、Ｒｗ（Ｃｊ）及びＴｗ（Ｃｊ）（ｊ＝２，３，．．．）は、Ｒｗ（Ｃ１）、Ｔｗ（Ｃ１）、Ｒ（ｊ）、及びＴ（ｊ）を用いて、次式により表される。

Ｒｗ（Ｃｊ）＝Ｒ（ｊ）^ＴＲｗ（Ｃ１） （２）
Ｔｗ（Ｃｊ）＝Ｒ（ｊ）^Ｔ（Ｔｗ（Ｃ１）−Ｔ（ｊ）） （３）

式（２）及び式（３）の右辺のＲ（ｊ）^Ｔは、Ｒ（ｊ）の転置行列を表す。投影部３１４は、式（１）〜式（３）を用いて、撮像装置３１２の位置及び姿勢の変化からｐｗ（Ｃｊ）を計算することで、３Ｄモデル１９０２に含まれる線分の投影線を生成する。

図２０は、図１の画像処理装置１０１の第３の具体例を示している。図２０の画像処理装置２００１は、図１５の画像処理装置１５０１に回転部２０１１を追加した構成を有する。

回転部２０１１は、３Ｄ線分集合３３３に含まれる線分の投影線と特徴線とを対応付ける指示が入力された後に、撮像装置３１２の姿勢が変化した場合、所定の拘束条件を用いて、３Ｄモデル３３２が表す物体の形状を回転させる。所定の拘束条件としては、画面上において、対応付けられた線分の投影線の角度を一定に保つことを示す条件が用いられる。

画像処理装置１５０１の場合と同様に、ユーザは、撮像装置３１２により、１時刻における物体の画像３３１を撮影した後、３次元空間内において画像処理装置１５０１を動かすことによって、３Ｄモデル３３２が表す物体の形状を画面上で変化させる。

画像処理装置２００１が行う画像処理は、図１７に示した画像処理と同様である。図１８のステップ１８０２において、回転部２０１１は、直前に入力された候補確定指示に従って生成された対応ペア３３５の線分の投影線の角度を一定に保ちながら、撮像装置３１２の姿勢の変化に応じて、物体の形状を回転させる。

例えば、回転軸としては、対応ペア３３５に含まれる線分、又はその線分と物体の形状に対する視点とを含む平面の法線が用いられる。物体の形状に対する視点は、撮像装置３１２の座標系の原点に対応する。

次に、投影部３１４は、回転後の物体の形状を表す複数の線分を画像平面上に投影することで、撮像装置３１２の姿勢の変化に応じた複数の投影線を生成する。

ステップ１８０３において、表示部３１７は、撮像装置３１２の姿勢の変化に応じた複数の投影線を用いて、画面上に物体の形状を表示する。

図２１は、回転軸の例を示している。直前に生成された対応ペア３３５に線分２１１１が含まれている場合、視点２１０２を投影中心として線分２１１１を画像平面２１０１上に投影することで、投影線２１１２が生成される。

この場合、線分２１１１又は平面２１０３の法線２１１３が、回転軸として用いられる。平面２１０３は、線分２１１１及び視点２１０２を含む平面である。物体の形状の回転角度としては、画像処理装置１５０１の回転と反対方向の回転成分のうち、線分２１１１又は法線２１１３の周りの回転成分を用いることができる。

線分２１１１を含む物体の形状が線分２１１１の周りに回転しても、画像平面２１０１上における投影線２１１２の角度及び長さは変化しない。また、物体の形状が法線２１１３の周りに回転しても、画像平面２１０１上における投影線２１１２の角度は変化しない。

図２０の画像処理装置２００１によれば、画像処理装置１５０１と同様に、短時間で容易に対応ペア３３５を生成することができ、撮像装置３１２の位置及び姿勢を推定する推定処理が効率化される。

さらに、直前に生成された対応ペア３３５に含まれる線分の投影線の角度が変化しないため、対応ペア３３５の個数が増加するにつれて、物体の形状が物体の画像３３１の姿勢に近づく。したがって、ユーザは、次の対応ペア候補を確認する作業が容易になり、物体の形状をさらに回転させて、容易に物体の画像３３１に重ね合わせることができる。

図１、図３、図１５、及び図２０の画像処理装置の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３、図１５、及び図２０の画像処理装置において、撮像装置３１２の位置及び姿勢を推定する推定処理が外部の装置によって行われる場合は、推定部３２０を省略することができる。ＣＡＤデータの代わりに、物体の形状を表す他の形状情報を３Ｄモデル３３２として用いてもよい。

図２、図５、図６、図９、図１４、図１７、及び図１８のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１４の候補表示処理において、処理対象の線分が４本目以降の線分である場合、画像処理装置は、ステップ１４０３〜ステップ１４０５の処理を行う代わりに、ステップ１４０９の処理を行ってもよい。

図４、図７、図８、図１０〜図１３、図１６、図１９、及び図２１に示した物体の形状、物体の画像、投影線、及び特徴線は一例に過ぎず、物体の形状、物体の画像、投影線、及び特徴線は、撮影対象の物体に応じて変化する。

式（１）〜式（３）の計算式は一例に過ぎず、画像処理装置の構成又は条件に応じて別の計算式を用いてもよい。

図２２は、図１、図３、図１５、及び図２０の画像処理装置として用いられる情報処理装置（コンピュータ）の構成例を示している。図２２の情報処理装置は、ＣＰＵ（Central Processing Unit）２２０１、メモリ２２０２、入力装置２２０３、出力装置２２０４、補助記憶装置２２０５、媒体駆動装置２２０６、及びネットワーク接続装置２２０７を含む。これらの構成要素はバス２２０８により互いに接続されている。図３、図１５、及び図２０の撮像装置３１２は、バス２２０８に接続されていてもよい。

メモリ２２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ２２０２は、図１の記憶部１１１又は図３、図１５、及び図２０の記憶部３１１として用いることができる。

ＣＰＵ２２０１（プロセッサ）は、例えば、メモリ２２０２を利用してプログラムを実行することにより、図１の抽出部１１２、投影部１１３、検出部１１４、選択部１１５、及び生成部１１７として動作する。

ＣＰＵ２２０１は、メモリ２２０２を利用してプログラムを実行することにより、図３、図１５、及び図２０の抽出部３１３、投影部３１４、検出部３１５、選択部３１６、生成部３１８、及び推定部３２０としても動作する。ＣＰＵ２２０１は、メモリ２２０２を利用してプログラムを実行することにより、図３の追跡部３２１、図１５及び図２０の変化推定部１５１１、及び図２０の回転部２０１１としても動作する。

入力装置２２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。入力装置２２０３は、図３、図１５、及び図２０の受付部３１９として用いることができる。

出力装置２２０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、対応ペア３３５であってもよく、撮像装置３１２の位置及び姿勢の推定結果であってもよい。出力装置２２０４は、図１の表示部１１６又は図３、図１５、及び図２０の表示部３１７として用いることができる。

補助記憶装置２２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２２０５にプログラム及びデータを格納しておき、それらをメモリ２２０２にロードして使用することができる。補助記憶装置２２０５は、図１の記憶部１１１又は図３、図１５、及び図２０の記憶部３１１として用いることができる。

媒体駆動装置２２０６は、可搬型記録媒体２２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２２０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体２２０９にプログラム及びデータを格納しておき、それらをメモリ２２０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２２０２、補助記憶装置２２０５、又は可搬型記録媒体２２０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置２２０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２２０７を介して受信し、それらをメモリ２２０２にロードして使用することができる。

なお、情報処理装置が図２２のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、可搬型記録媒体２２０９又は通信ネットワークを使用しない場合は、媒体駆動装置２２０６又はネットワーク接続装置２２０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図２２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
３次元空間内における物体の形状を表す複数の線分を含む形状情報と、前記物体の画像とを記憶する記憶部と、
前記複数の線分の中から複数の対象線分を抽出する抽出部と、
前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成する投影部と、
前記物体の画像から複数の特徴線を検出する検出部と、
前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択する選択部と、
前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示する表示部と、
前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する生成部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを用いて、前記３次元空間内における前記物体の画像を撮影した撮像装置の位置及び姿勢を推定する推定部をさらに備えることを特徴とする付記１記載の画像処理装置。
（付記３）
前記３次元空間内において前記撮像装置が動きながら撮影する複数の画像の間で、前記組み合わせに含まれる特徴線を追跡する追跡部をさらに備え、
前記検出部は、前記複数の画像各々から複数の特徴線を検出し、
前記生成部は、前記組み合わせに含まれる特徴線を、前記複数の画像各々から検出された複数の特徴線のうち、追跡された特徴線に変更し、
前記表示部は、前記画面上の所定位置に前記物体の形状を表示するとともに、前記撮像装置の動きに応じて、前記画面上に前記複数の画像各々を表示することを特徴とする付記２記載の画像処理装置。
（付記４）
前記撮像装置の位置及び姿勢の変化を推定する変化推定部をさらに備え、
前記投影部は、前記撮像装置の位置及び姿勢の変化に基づいて、前記複数の線分を前記画像平面上に投影することで、前記３次元空間内における前記撮像装置の動きに応じた複数の投影線を生成し、
前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の動きに応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記２記載の画像処理装置。
（付記５）
前記撮像装置の姿勢の変化を推定する変化推定部と、
前記複数の対象線分のうち特定の線分の投影線と、前記特定の線分に対する対応付け候補の特徴線とを対応付ける指示が入力された後に、前記撮像装置の姿勢が変化した場合、前記画面上において前記特定の線分の投影線の角度を一定に保つ拘束条件を用いて、前記物体の形状を前記撮像装置の姿勢の変化に応じて回転させる回転部と、
をさらに備え、
前記投影部は、回転後の物体の形状を表す複数の線分を前記画像平面上に投影することで、前記撮像装置の姿勢の変化に応じた複数の投影線を生成し、
前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の姿勢の変化に応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記２記載の画像処理装置。
（付記６）
前記投影部は、前記特定の線分、又は前記特定の線分と前記複数の線分に対する視点とを含む平面の法線を、回転軸として用いて、前記回転軸の周りに前記物体の形状を回転させることを特徴とする付記５記載の画像処理装置。
（付記７）
前記選択部は、前記複数の対象線分のうち３本の対象線分各々と前記対応付け候補の特徴線との組み合わせが生成された後に、４本目の対象線分に対する前記対応付け候補の特徴線を選択する場合、前記３本の対象線分に対する３個の組み合わせを用いて、前記撮像装置の位置及び姿勢を推定し、
前記投影部は、推定された前記撮像装置の位置及び姿勢を用いて、前記４本目の対象線分を前記画像平面上に投影することで、前記４本目の対象線分の投影線を生成し、
前記選択部は、前記４本目の対象線分の投影線に基づいて、前記４本目の対象線分に対する前記対応付け候補の特徴線を選択することを特徴とする付記２乃至６のいずれか１項に記載の画像処理装置。
（付記８）
前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に最も近い特徴線を、前記対応付け候補の特徴線として選択することを特徴とする付記１乃至７のいずれか１項に記載の画像処理装置。
（付記９）
前記表示部は、前記複数の対象線分各々の投影線の中点を強調表示することを特徴とする付記８記載の画像処理装置。
（付記１０）
前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に対する距離が所定値よりも小さい特定の複数の特徴線を、前記対応付け候補の特徴線として選択し、
前記表示部は、前記特定の複数の特徴線を、前記複数の対象線分各々に対する選択肢として表示し、
前記生成部は、前記複数の対象線分各々の投影線と、前記特定の複数の特徴線の中から選択された特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記選択された特徴線との組み合わせを生成することを特徴とする付記１乃至７のいずれか１項に記載の画像処理装置。
（付記１１）
前記抽出部は、前記複数の投影線のうち２本の投影線の距離が所定値よりも小さい場合、前記２本の投影線に対応する２本の線分以外の線分の中から、前記複数の対象線分を抽出することを特徴とする付記１乃至１０のいずれか１項に記載の画像処理装置。
（付記１２）
前記複数の対象線分は３本の対象線分であり、
前記生成部は、前記３本の対象線分各々と前記対応付け候補の特徴線とを対応付けることで、３個の組み合わせを生成し、
前記抽出部は、前記３本の対象線分のうち２本の対象線分に、前記３本の対象線分以外の線分を追加することで、３本の線分を含む線分集合を複数個生成し、複数個の線分集合それぞれを評価した結果に基づいて、いずれかの線分集合を選択し、選択された線分集合に含まれる前記２本の対象線分以外の線分を、前記３本の対象線分に追加することで、４本の対象線分を生成し、
前記選択部、前記表示部、及び前記生成部は、前記４本の対象線分に対して処理を繰り返すことを特徴とする付記１乃至１１のいずれか１項に記載の画像処理装置。
（付記１３）
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
３次元空間内における物体の形状を表す複数の線分の中から複数の対象線分を抽出し、
前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成し、
前記物体の画像から複数の特徴線を検出し、
前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択し、
前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示し、
前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する、
ことを特徴とする画像処理方法。
（付記１４）
前記コンピュータは、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを用いて、前記３次元空間内における前記物体の画像を撮影した撮像装置の位置及び姿勢を推定することを特徴とする付記１３記載の画像処理方法。
（付記１５）
前記コンピュータは、
前記３次元空間内において前記撮像装置が動きながら撮影する複数の画像各々から、複数の特徴線を検出し、
前記複数の画像の間で、前記組み合わせに含まれる特徴線を追跡し、
前記組み合わせに含まれる特徴線を、前記複数の画像各々から検出された複数の特徴線のうち、追跡された特徴線に変更し、
前記画面上の所定位置に前記物体の形状を表示するとともに、前記撮像装置の動きに応じて、前記画面上に前記複数の画像各々を表示することを特徴とする付記１４記載の画像処理方法。
（付記１６）
前記コンピュータは、
前記撮像装置の位置及び姿勢の変化を推定し、
前記撮像装置の位置及び姿勢の変化に基づいて、前記複数の線分を前記画像平面上に投影することで、前記３次元空間内における前記撮像装置の動きに応じた複数の投影線を生成し、
前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の動きに応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記１４記載の画像処理方法。
（付記１７）
前記コンピュータは、
前記複数の対象線分のうち特定の線分の投影線と、前記特定の線分に対する対応付け候補の特徴線とを対応付ける指示が入力された後に、前記撮像装置の姿勢が変化した場合、前記撮像装置の姿勢の変化を推定し、
前記画面上において前記特定の線分の投影線の角度を一定に保つ拘束条件を用いて、前記物体の形状を前記撮像装置の姿勢の変化に応じて回転させ、
回転後の物体の形状を表す複数の線分を前記画像平面上に投影することで、前記撮像装置の姿勢の変化に応じた複数の投影線を生成し、
前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の姿勢の変化に応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記１４記載の画像処理方法。

１０１、３０１、１５０１、２００１ 画像処理装置
１１１、３１１ 記憶部
１１２、３１３ 抽出部
１１３、３１４ 投影部
１１４、３１５ 検出部
１１５、３１６ 選択部
１１６、３１７ 表示部
１１７、３１８ 生成部
１２１ 形状情報
１２２、３３１、４１１〜４１３、１２０２、１６０１、１９３１ 画像
３１２ 撮像装置
３１９ 受付部
３２０ 推定部
３２１ 追跡部
３３２、１９０２ ３Ｄモデル
３３３ ３Ｄ線分集合
３３４、１００２、１００３、１１０２、１２１２、１２１３ 特徴線
３３５ 対応ペア
４０１、１２０１、１６１１〜１６１３、１９４１、１９４２ 物体の形状
４０２、７０１〜７０４、８０１〜８０５、１００１、１１０１、１２１１、１６２１〜１６２３、２１１２ 投影線
４０３、１６０３ ＯＫボタン
１０１１ 中点
１１１１ マーク
１２２１ 固定ボタン
１２２２ 青ボタン
１２２３ 緑ボタン
１３０１、１９０１ 物体
１３１１ 頂点
１５１１ 変化推定部
１９０１ 物体
１９０３ 基準座標系
１９１１、１９１２ 位置ベクトル
１９２１ 矢印
２０１１ 回転部
２１０１ 画像平面
２１０２ 視点
２１０３ 平面
２１１１ 線分
２１１３ 法線
２２０１ ＣＰＵ
２２０２ メモリ
２２０３ 入力装置
２２０４ 出力装置
２２０５ 補助記憶装置
２２０６ 媒体駆動装置
２２０７ ネットワーク接続装置
２２０８ バス
２２０９ 可搬型記録媒体

Claims (11)

1. ３次元空間内における物体の形状を表す複数の線分を含む形状情報と、前記物体の画像とを記憶する記憶部と、
   前記複数の線分の中から複数の対象線分を抽出する抽出部と、
   前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成する投影部と、
   前記物体の画像から複数の特徴線を検出する検出部と、
   前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択する選択部と、
   前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示する表示部と、
   前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを用いて、前記３次元空間内における前記物体の画像を撮影した撮像装置の位置及び姿勢を推定する推定部をさらに備えることを特徴とする請求項１記載の画像処理装置。
3. 前記３次元空間内において前記撮像装置が動きながら撮影する複数の画像の間で、前記組み合わせに含まれる特徴線を追跡する追跡部をさらに備え、
   前記検出部は、前記複数の画像各々から複数の特徴線を検出し、
   前記生成部は、前記組み合わせに含まれる特徴線を、前記複数の画像各々から検出された複数の特徴線のうち、追跡された特徴線に変更し、
   前記表示部は、前記画面上の所定位置に前記物体の形状を表示するとともに、前記撮像装置の動きに応じて、前記画面上に前記複数の画像各々を表示することを特徴とする請求項２記載の画像処理装置。
4. 前記撮像装置の位置及び姿勢の変化を推定する変化推定部をさらに備え、
   前記投影部は、前記撮像装置の位置及び姿勢の変化に基づいて、前記複数の線分を前記画像平面上に投影することで、前記３次元空間内における前記撮像装置の動きに応じた複数の投影線を生成し、
   前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の動きに応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする請求項２記載の画像処理装置。
5. 前記撮像装置の姿勢の変化を推定する変化推定部と、
   前記複数の対象線分のうち特定の線分の投影線と、前記特定の線分に対する対応付け候補の特徴線とを対応付ける指示が入力された後に、前記撮像装置の姿勢が変化した場合、前記画面上において前記特定の線分の投影線の角度を一定に保つ拘束条件を用いて、前記物体の形状を前記撮像装置の姿勢の変化に応じて回転させる回転部と、
   をさらに備え、
   前記投影部は、回転後の物体の形状を表す複数の線分を前記画像平面上に投影することで、前記撮像装置の姿勢の変化に応じた複数の投影線を生成し、
   前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の姿勢の変化に応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする請求項２記載の画像処理装置。
6. 前記投影部は、前記特定の線分、又は前記特定の線分と前記複数の線分に対する視点とを含む平面の法線を、回転軸として用いて、前記回転軸の周りに前記物体の形状を回転させることを特徴とする請求項５記載の画像処理装置。
7. 前記選択部は、前記複数の対象線分のうち３本の対象線分各々と前記対応付け候補の特徴線との組み合わせが生成された後に、４本目の対象線分に対する前記対応付け候補の特徴線を選択する場合、前記３本の対象線分に対する３個の組み合わせを用いて、前記撮像装置の位置及び姿勢を推定し、
   前記投影部は、推定された前記撮像装置の位置及び姿勢を用いて、前記４本目の対象線分を前記画像平面上に投影することで、前記４本目の対象線分の投影線を生成し、
   前記選択部は、前記４本目の対象線分の投影線に基づいて、前記４本目の対象線分に対する前記対応付け候補の特徴線を選択することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に最も近い特徴線を、前記対応付け候補の特徴線として選択することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に対する距離が所定値よりも小さい特定の複数の特徴線を、前記対応付け候補の特徴線として選択し、
   前記表示部は、前記特定の複数の特徴線を、前記複数の対象線分各々に対する選択肢として表示し、
   前記生成部は、前記複数の対象線分各々の投影線と、前記特定の複数の特徴線の中から選択された特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記選択された特徴線との組み合わせを生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記複数の対象線分は３本の対象線分であり、
    前記生成部は、前記３本の対象線分各々と前記対応付け候補の特徴線とを対応付けることで、３個の組み合わせを生成し、
    前記抽出部は、前記３本の対象線分のうち２本の対象線分に、前記３本の対象線分以外の線分を追加することで、３本の線分を含む線分集合を複数個生成し、複数個の線分集合それぞれを評価した結果に基づいて、いずれかの線分集合を選択し、選択された線分集合に含まれる前記２本の対象線分以外の線分を、前記３本の対象線分に追加することで、４本の対象線分を生成し、
    前記選択部、前記表示部、及び前記生成部は、前記４本の対象線分に対して処理を繰り返すことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. コンピュータによって実行される画像処理方法であって、
    前記コンピュータが、
    ３次元空間内における物体の形状を表す複数の線分の中から複数の対象線分を抽出し、
    前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成し、
    前記物体の画像から複数の特徴線を検出し、
    前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択し、
    前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示し、
    前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する、
    ことを特徴とする画像処理方法。
    

Images