JP2017130049A

JP2017130049A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2017130049A
Application number: JP2016009045A
Authority: JP
Inventors: 雄一日塔; Yuichi Nitto
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2017-07-27

Abstract

【課題】画像と三次元点群とを効率的に対応付けることができる画像処理装置を提供することを課題とする。【解決手段】画像処理装置は、第１の画像群よりも広域な撮像範囲で対象物を撮像した第２の画像群に含まれる画像における特徴点を検出する検出手段と、少なくとも前記第２の画像群に含まれる画像における特徴点に基づいて、対象物の三次元点群を決定する決定手段と、三次元点群と、第１の画像群に含まれる画像とが対応付けられた情報を生成する生成手段とを有する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

例えば、大規模な構造物の点検行為の一環として、構造物上のひびや錆び等が存在する関心領域をカメラによって記録することが行われている。関心領域を後から参照する方法として、撮影した現場で構造物上のどこを写したかメモしておき、その情報を基に手動で画像を探し出すことが行われていた。このような状況において、手動で探す煩雑さを低減する方法として、画像からの三次元情報復元を用いた以下の技術が存在する。

特許文献１では、画像群から三次元点群と撮影位置を復元し、その三次元情報を基に対象物の外観をユーザに提示する。また、対象物の外観をガイドとして、任意の関心領域を指定することで、その領域に関連付けられた画像を提示することが可能となる。

また、特許文献２では、広域画像群と精細画像群を取得する。ここで、広域画像群は、対象物を離れた位置から、又は焦点距離の短いレンズを用いて、広域に撮影した画像群を示す。精細画像群は、対象物を近接した位置から、又は焦点距離の長いレンズを用いて、精細に撮影した画像群を示す。特許文献２では、この広域画像群と精細画像群の相対位置関係を推定し、撮影領域が重なる精細画像群を特定する。続けて、広域画像上で検出された特徴点の投影位置を基準に精細画像間のマッチング処理をすることで、精細な三次元モデルを生成する。これにより、ユーザは、精細な三次元モデル上で関心領域を探索することが可能となる。

米国特許第８７４４２１４号明細書特開２０１４−００６１４８号公報

しかし、例えば構造物点検において撮影される画像は、構造物の微細な異常を判断するために、局所的かつ精細となり、おのずとその数が膨大になる傾向がある。特許文献１では、画像の局所性に起因した誤対応や、画像数に起因する処理時間の肥大化という課題がある。また、特許文献２では、広域画像と精細画像間で相対位置関係が推定できる必要があり、複雑な形状を持つ構造物では、相対位置関係の精度に起因する誤対応という課題がある。このように、構造物点検において撮影される精細な画像を三次元情報と対応付ける方法として、精度及び処理時間が実用的な方法がない。また、精細画像を使って対象物の外観を表示していたため、表示にかかわる処理負荷が高く、動作が遅いという課題がある。

本発明の目的は、画像と三次元点群とを効率的に対応付けることができる技術を提供することである。

本発明の画像処理装置は、第１の画像群よりも広域な撮像範囲で対象物を撮像した第２の画像群に含まれる画像における特徴点を検出する検出手段と、少なくとも前記第２の画像群に含まれる画像における特徴点に基づいて、前記対象物の三次元点群を決定する決定手段と、前記三次元点群と、前記第１の画像群に含まれる画像とが対応付けられた情報を生成する生成手段とを有する。

本発明によれば、画像と三次元点群とを効率的に対応付けることができる。

第１の実施形態による画像処理装置の構成例を示す図である。第１の実施形態による画像処理装置の構成例を示す図である。第１の実施形態による画像処理方法を示すフローチャートである。第１の実施形態によるデータ構成例を示す図である。第１の実施形態による画像表示方法を示すフローチャートである。第１の実施形態による三次元形状を表示する画面を示す図である。第１の実施形態による操作方法を示すフローチャートである。第１の実施形態による操作画面を示す図である。第２の実施形態による画像処理装置の構成例を示す図である。第２の実施形態による画像処理方法を示すフローチャートである。第２の実施形態によるデータ構成例を示す図である。第３の実施形態による画像処理装置の構成例を示す図である。第３の実施形態による画像処理方法を示すフローチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態による画像処理装置のハードウェア構成例を示す図である。画像処理装置は、例えばコンピュータである。中央演算装置（以下ＣＰＵという）１０１は、画像処理装置を制御する。ＣＰＵ１０１は、プログラムを実行することにより、情報の演算や加工、各ハードウェアの制御を行い、後述する各機能構成、処理を実現する。ランダムアクセスメモリ（以下ＲＡＭという）１０２は、ＣＰＵ１０１の主メモリとして、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。リードオンリーメモリー（以下ＲＯＭという）１０３は、ＣＰＵ１０１の動作処理手順を規定するプログラムを記憶する。ＲＯＭ１０３は、画像処理装置の機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭと、システムを稼動するために必要な情報等が記録されたデータＲＯＭを有する。ＲＯＭ１０３の代わりに、後述のＨＤＤ１０７を用いてもよい。ネットワークインターフェース（以下ＮＥＴＩＦという）１０４は、ネットワークを介して送受信される画像等のデータの入出力制御を行う。表示デバイス１０５は、例えば、ＣＲＴディスプレイや、液晶ディスプレイ等である。入力デバイス１０６は、ユーザからの操作指示を受け付け、例えば、タッチパネル、キーボード、マウス等である。ハードディスクドライブ（ＨＤＤ）１０７は、アプリケーションプログラムや画像等のデータの保存用に用いられる記憶装置である。バス１０８は、上述した各ユニット間の接続するための入出力バス（アドレスバス、データバス、及び制御バス）である。

図２は、本実施形態による画像処理装置の機能ブロックを示す図である。画像処理装置は、ＣＰＵ１０１がプログラムを実行することにより、図２の機能ブロックを実現することができる。画像処理装置は、画像処理部２０１及び画像表示部２０９を有する。画像処理部２０１は、画像入力部２０２、検出部２０３、第１のマッチング部２０４、推定部２０５、第２のマッチング部２０６、照合部２０７及び統合部２０８を有し、画像群から広域三次元点群及び精細画像との対応関係を出力する。画像入力部２０２は、ＮＥＴＩＦ１０４又はＨＤＤ１０７から対象画像を入力する。検出部２０３は、検出手段であり、画像入力部２０２により入力された画像上の二次元特徴点を検出する。第１のマッチング部２０４は、対応付け手段であり、検出部２０３により検出された特徴点同士の画像間におけるマッチング処理を行う。推定部２０５は、推定手段であり、第１のマッチング部２０４によりマッチング処理された特徴点の組みから三次元点群を推定する。第２のマッチング部２０６は、対応付け手段であり、検出部２０３により検出された特徴点同士の異なる画像群間におけるマッチング処理を行う。照合部２０７は、決定手段であり、第１のマッチング部２０４によりマッチング処理された特徴点の組みと第２のマッチング部２０６によりマッチング処理された特徴点の組みの一致性を照合する。統合部２０８は、決定手段であり、推定部２０５により推定された広域三次元点群に対して、照合部２０７により照合された結果に基づき精細画像特徴点の組みを統合する。

画像表示部２０９は、三次元モデル生成部２１０、三次元モデル表示部２１１、三次元点群表示部２１２、三次元点指定部２１３、対応画像特定部２１４及び画像表示部２１５を有する。画像表示部２０９は、画像処理部２０１から出力された広域三次元点群及び精細画像との対応関係を提示（表示）する。三次元モデル生成部２１０は、画像処理部２０１から出力された広域三次元点群を基に、広域三次元モデルを生成する。三次元モデル表示部２１１は、三次元モデル表示手段であり、三次元モデル生成部２１０により生成された広域三次元モデルを表示デバイス１０５に表示する。三次元点群表示部２１２は、三次元点群表示手段であり、画像処理部２０１から出力された広域三次元点群を表示デバイス１０５に表示する。三次元点指定部２１３は、入力デバイス１０６から入力された三次元点を指定する。対応画像特定部２１４は、三次元点指定部２１３により指定された三次元点に対応する精細画像を特定する。画像表示部２１５は、画像表示手段であり、対応画像特定部２１４により特定された精細画像を表示デバイス１０５に表示する。

図３は、本実施形態による画像処理部２０１の画像処理方法を示すフローチャートである。図４（ａ）〜（ｆ）は、図３の各ステップで生成されるデータ構造を例示した図である。画像処理部２０１は、ステップＳ３０１〜Ｓ３０４の処理と、ステップＳ３０５〜Ｓ３０７の処理とを並列処理する。ユーザは、画像入力部２０２の読み込みに対して、広域画像群と精細画像群とを区別して指定する。精細画像群は、対象物を近接した位置から、又は焦点距離の長いレンズを用いて、対象物を精細に撮像した第１の画像群である。広域画像群は、対象物を離れた位置から、又は焦点距離の短いレンズを用いて、対象物を広域に撮像した第２の画像群である。広域画像群は、精細画像群よりも広域な撮像範囲で対象物を撮像した画像群である。

ステップＳ３０１では、画像入力部２０２は、ＮＥＴＩＦ１０４又はＨＤＤ１０７から広域画像群を読み込む。次に、ステップＳ３０２では、検出部２０３は、画像入力部２０２により入力された広域画像群の各広域画像中に含まれる二次元特徴点を検出し、図４（ａ）に示すような広域画像特徴点情報４０１を出力する。例えば、広域画像特徴点情報４０１は、広域画像の特徴点を一意に示すＩＤ４０２と、広域画像を一意に示すＩＤ４０３と、検出された特徴点の二次元座標位置４０４と、検出された特徴点の特徴量４０５との対応関係を有する。次に、ステップＳ３０３では、第１のマッチング部２０４は、検出部２０３により検出された異なる広域画像間の特徴点のマッチング処理を行い、マッチングされた広域画像の特徴点の組みを対応付ける処理（第１の処理）を行う。つまり、広域画像群の内の任意の画像における特徴点と、広域画像群の内の他の画像における特徴点とを対応付ける。

そして、第１のマッチング部２０４は、図４（ｂ）に示すような広域画像特徴点組関係４０６を出力する。すなわち、第１のマッチング部２０４は、広域画像群に含まれる任意の画像における特徴点と、広域画像群に含まれる他の画像における特徴点とを対応付ける処理を行う。例えば、広域画像特徴点組関係４０６は、広域画像の特徴点の組みを一意に示すＩＤ４０７と、広域画像の特徴点の組み４０８との対応関係を有する。次に、ステップＳ３０４では、推定部２０５は、第１のマッチング部２０４により対応付けられた広域画像特徴点の組み４０８が表す三次元空間上の点座標位置、即ち、広域三次元点群を推定し、図４（ｃ）に示すような広域三次元点群情報テーブル４０９を出力する。例えば、広域三次元点群情報テーブル４０９は、広域三次元点を一意に示すＩＤ４１０と、各点の三次元座標４１１と、推定に用いた広域画像特徴点の組み４１２との対応関係を有する。なお、ステップＳ３０２からＳ３０４までの一連の処理の流れは、一般的な三次元点群推定処理であるStructure from Motion 技術を用いることができる。この技術は、例えば、マッチングされた特徴点組の位置関係からエピポーラ幾何的計算法により画像の撮影された相対的な位置と画像の姿勢（例えば重力方向）を推定する。また、画像のＥｘｉｆ（Exchangeable image file format）情報から焦点距離などのパラメータを取得し、その焦点距離を示す情報に基づいて特徴点の組が表す三次元空間上の座標位置を推定する。更に、これらの推定値をバンドル調整法を用いた最適化のための計算を行うことで、特徴点の組が表す三次元空間上の座標位置を決定するという処理を行う。より詳細な処理として、例えば、特許文献１にて開示されている方法を利用してもよい。その後、画像処理部２０１は、ステップＳ３０８に処理を進める。なお、例えば、傾きセンサやＧＰＳ受信機を備えたカメラを用いて各画像を撮影するようにしてもよい。そのようにすれば画像と、その画像が撮影された位置を示す情報と、撮影方向を示す情報とを関連付けることができる。それらの情報に基づいて、三次元点群を推定するようにしてもよい。

ステップＳ３０５では、画像入力部２０２は、ＮＥＴＩＦ１０４又はＨＤＤ１０７から精細画像群を読み込む。次に、ステップＳ３０６では、ステップＳ３０２と同様に、検出部２０３は、画像入力部２０２により入力された精細画像群の各精細画像中に含まれる二次元特徴点を検出し、図４（ｄ）に示すような精細画像特徴点情報４１３を出力する。例えば、精細画像特徴点情報４１３は、精細画像の特徴点を一意に示すＩＤ４１４と、精細画像を一意に示すＩＤ４１５と、検出された特徴点の二次元座標位置４１６と、検出された特徴点の特徴量４１７との対応関係を有する。次に、ステップＳ３０７では、第２のマッチング部２０６は、検出部２０３により検出された広域画像群の各特徴点に対して精細画像群の各特徴点のマッチング処理を行い、マッチングされた広域画像と精細画像の特徴点の組みを対応付ける処理（第２の処理）を行う。つまり、広域画像群に含まれる画像における特徴点に、精細画像群に含まれる画像における特徴点を対応付ける。そして、第２のマッチング部２０６は、図４（ｅ）に示すような広域精細画像特徴点組関係４１８を出力する。すなわち、第２のマッチング部２０６は、広域画像群に含まれる画像における特徴点の各々に対応する精細画像群に含まれる画像における特徴点を対応付ける処理を行う。例えば、広域精細画像特徴点組関係４１８は、広域精細画像の特徴点の組みを一意に示すＩＤ４１９と、広域画像の特徴点を一意に示すＩＤ４２０と、広域画像特徴点に対応付けられた精細画像の特徴点の組み４２１との対応関係を有する。その後、画像処理部２０１は、ステップＳ３０８に処理を進める。

ステップＳ３０８では、照合部２０７は、図４（ｂ）の広域画像特徴点組関係４０６と図４（ｅ）の広域精細画像特徴点組関係４１８を照合し、一致する特徴点の組みを見つけ出す。例えば、図４（ｂ）の広域画像特徴点組関係４０６の広域画像特徴点の組み４２２は、広域画像特徴点の組み４２２を有する。広域画像特徴点の組み４２２は、組の要素である図４（ａ）の広域画像特徴点ＩＤ４０２としてＡ−００１及びＢ−００１を有する。照合部２０７は、図４（ｅ）の広域精細画像特徴点組関係４１８において、そのＡ−００１及びＢ−００１をそれぞれ有する広域精細画像特徴点の組み４２３及び４２４を検出する。これにより、広域画像特徴点の組み４２２と、広域精細画像特徴点の組み４２３及び４２４とが一致することが照合される。

次に、ステップＳ３０９では、統合部２０８は、ステップＳ３０８で一致した特徴点の組みから精細画像群特徴点の組み４２１を、図４（ｃ）の広域三次元点群情報テーブル４０９に統合し、図４（ｆ）の統合三次元点群情報テーブル４２６を生成する。統合三次元点群情報テーブル４２６は、図４（ｃ）の広域三次元点群情報テーブル４０９に対して、精細画像特徴点の組み４２５が統合されたテーブルである。以上のように、画像処理部２０１の各部は、協働して、三次元における位置を示す三次元点群と、精細画像の特徴点とが対応付けられた情報（統合三次元点群情報テーブル）を生成する生成手段としても機能する。

以上のように、統合部２０８は、第１のマッチング部２０４及び第２のマッチング部２０６の対応付けの結果に基づいて、広域画像群に含まれる画像における特徴点と精細画像群に含まれる画像における特徴点に対応する対象物の三次元点群ＩＤ４１０を決定する。具体的には、統合部２０８は、推定部２０５により推定された三次元点群に対して、広域画像群に含まれる画像における特徴点と精細画像群に含まれる画像における特徴点とを対応付ける処理を行う。

次に、ステップＳ３１０では、統合部２０８は、ステップＳ３０９で統合された精細画像群の各特徴点を評価し、誤対応となる特徴点の対応付けを除去する。例えば、統合部２０８は、統合された精細画像群の各特徴点の三次元位置を用いて、各精細画像の撮影位置及び画像上への再投影誤差を算出し、一定以上の誤差がある特徴点は誤対応として除去する。そして、統合部２０８は、図４（ｆ）に示すような統合三次元点群情報テーブル４２６を出力する。統合三次元点群情報テーブル４２６は、広域三次元点群と精細画像群の対応関係を得ることが可能である。

以上のように、統合部２０８は、図４（ｆ）の統合三次元点群情報テーブル４２６に対して、三次元点群ＩＤ４１０に対する精細画像群に含まれる画像における特徴点の対応付けが誤っているか否かを評価する。そして、統合部２０８は、その対応付けが誤っている場合には、三次元点群ＩＤ４１０に対する精細画像群に含まれる画像における特徴点の対応付けを除去する。

なお、ステップＳ３１０の誤対応除去処理は、三次元推定処理を利用した例を説明したが、これに限るものではない。例えば、ステップＳ３１０では、ステップＳ３０７において算出される特徴点マッチングのスコアを用いて評価する方法や、特徴点を中心とする小領域をテンプレートマッチングで評価する方法等を利用してもよい。また、これらの方法の組み合わせを利用してもよい。また、処理の簡略化のため、統合部２０８は、ステップＳ３１０の処理を行わなくてもよい。

図５は、本実施形態による画像表示部２０９の画像表示方法を示すフローチャートである。図６は、本実施形態による広域三次元モデル６０２の表示画面を示す図である。ステップＳ５０１では、三次元モデル生成部２１０は、画像処理部２０１により出力された図４（ｆ）の統合三次元点群情報テーブル４２６から、図６のような広域三次元モデル６０２を生成する。次に、ステップＳ５０２では、三次元モデル表示部２１１は、図６に示すように、三次元モデル生成部２１０により生成された広域三次元モデル６０２を広域モデル表示領域６０１に表示する。次に、ステップＳ５０３では、三次元点群表示部２１２は、図６に示すように、図４（ｆ）の統合三次元点群情報テーブル４２６で精細画像に対応付けられた広域三次元点群６０３を広域モデル表示領域６０１に表示する。具体的には、三次元点群表示部２１２は、精細画像に対応付けられた広域三次元点群６０３を広域三次元モデル６０２の上に表示する。これにより、広域な三次元モデル６０２と精細画像群の対応関係をユーザに提示することが可能となる。

なお、ステップＳ５０３では、精細画像に対応付けられた広域三次元点群６０３を点として表示する方法を例に挙げたが、これに限らない。精細画像に対応付けられた広域三次元点群６０３の点を中心とする一定幅のグリッドや球を表示する方法や、広域三次元点群６０３の点で近似面を構成して精細画像をテクスチャとして貼り付け表示する方法等でもよく、それらが切り替えられる構成であってもよい。

図７は、本実施形態による画像表示部２０９の操作による画像表示方法を示すフローチャートである。図８は、本実施形態による広域三次元モデル６０２を用いた操作画面を示す図である。ステップＳ７０１では、三次元点指定部２１３は、ユーザの入力デバイス１０６の操作に応じて、図８に示すように、広域モデル表示領域６０１上に表示される精細画像に対応付けられた広域三次元点群６０３の中の任意の広域三次元点８０１を指定する。次に、ステップＳ７０２では、対応画像特定部２１４は、図４（ｆ）の統合三次元点群情報テーブル４２６を参照する。そして、対応画像特定部２１４は、三次元点指定部２１３により指定された広域三次元点８０１に対応付けられた精細画像の特徴点の組み４２５から、それに対応する精細画像を特定する。次に、ステップＳ７０３では、画像表示部２１５は、図８に示すように、対応画像特定部２１４により特定された精細画像８０３を精細画像一覧表示領域８０２に表示する。これにより、ユーザの指定操作に応じて、ユーザの関心領域を含む精細画像８０３を提示することが可能となる。

以上説明したように、本実施形態によれば、精細画像８０３と広域三次元点群６０３との対応付けを精度良く効率的に取得することが可能となる。また、外観を示す広域三次元モデル６０２をガイドとして、関心領域を含む精細画像８０３の探索が容易になる。また、本実施形態においては、画像処理装置は、画像処理部２０１及び画像表示部２０９から構成されるシステムとしたが、何れかの装置が他の装置を包含する構成としてもよく、単一の装置による構成としてもよい。

（第２の実施形態）
前述の第１の実施形態では、広域三次元点群６０３に精細画像８０３を対応付けする上で、第２のマッチング部２０６が必要であった。第２のマッチング部２０６は、ステップＳ３０７で、広域画像群の各特徴点に対して精細画像群の各特徴点のマッチングを行う必要があった。これに対して、本発明の第２の実施形態では、第２のマッチング部２０６を用いずに、三次元点群推定処理結果から広域三次元点群と精細画像群の対応関係を取得できるように、構成を簡略化する。以下、本実施形態が第１の実施形態と異なる点を説明する。

図９は、本発明の第２の実施形態による画像処理装置の機能ブロックを示す図である。画像処理装置は、画像処理部９０１及び画像表示部２０９を有する。画像処理部９０１は、図２の画像処理部２０１に対して、第２のマッチング部２０６を削除し、照合部２０７及び統合部２０８の代わりに照合部９０２及び統合部９０３を設けたものである。照合部９０２は、推定部２０５により生成された図４（ｃ）の広域三次元点群情報テーブル４０９内に含まれる広域画像特徴点の組み４１２の一致性を照合する。統合部９０３は、推定部２０５により生成された図４（ｃ）の広域三次元点群情報テーブル４０９に対して、照合部９０２により照合された結果に基づき、精細画像特徴点の組みを統合する。

図１０は、本実施形態による画像処理部９０１の画像処理方法を示すフローチャートである。図１１（ａ）〜（ｃ）は、図１０の各ステップで生成されるデータ構造を例示した図である。ユーザは、画像入力部２０２の読み込みに対して、広域画像群と精細画像群とを区別して指定する。画像処理部９０１は、ステップＳ１００１〜Ｓ１００４の処理と、ステップＳ１００５〜Ｓ１００８の処理とを並列処理する。画像処理部９０１は、図３のステップＳ３０１〜Ｓ３０４と同じ処理であるステップＳ１００１〜Ｓ１００４の処理を行い、推定部２０５は、図１１（ａ）の広域三次元点群情報テーブル１１０１を出力する。広域三次元点群情報テーブル１１０１に含まれる情報１１０２〜１１０４は、前述の図４（ｃ）の情報４１０〜４１２と同様である。その後、画像処理部９０１は、ステップＳ１００９に処理を進める。

ステップＳ１００５では、画像入力部２０２は、ＮＥＴＩＦ１０４又はＨＤＤ１０７から広域画像群及び精細画像群の全画像を読み込む。次に、ステップＳ１００６では、検出部２０３は、ステップＳ１００２と同様に、画像入力部２０２により入力された広域画像群及び精細画像群の各画像中に含まれる二次元特徴点を検出する。次に、ステップＳ１００７では、第１のマッチング部２０４は、ステップＳ１００３と同様に、検出部２０３により検出された広域画像及び精細画像の特徴点のマッチング処理（第３の処理）を行う。つまり、広域画像群及び精細画像群の内の任意の画像における特徴点と、広域画像群及び精細画像群の内の他の画像における特徴点とを対応付ける。そして、第１のマッチング部２０４は、マッチングされた広域画像及び精細画像の特徴点の組み１１０８（図１１（ｂ））を対応付ける。その際、第１のマッチング部２０４は、広域画像群に含まれる任意の画像における特徴点と広域画像群に含まれる他の画像における特徴点とを対応付ける処理を行う。さらに、第１のマッチング部２０４は、精細画像群に含まれる任意の画像における特徴点と精細画像群に含まれる他の画像における特徴点とを対応付ける処理を行う。次に、ステップＳ１００８では、推定部２０５は、ステップＳ１００４と同様に、第１のマッチング部２０４により対応付けられた広域画像及び精細画像の特徴点の組みが表す三次元空間上の点座標位置、即ち、広域精細三次元点群を推定する。そして、推定部２０５は、図１１（ｂ）に示すような広域精細三次元点群情報テーブル１１０５を出力する。広域精細三次元点群情報テーブル１１０５は、広域画像及び精細画像の三次元点ＩＤ１１０６と、三次元座標１１０７と、広域画像及び精細画像の特徴点の組み１１０８との対応関係を有する。その後、画像処理部９０１は、ステップＳ１００９に処理を進める。

ステップＳ１００９では、照合部９０２は、広域三次元点群情報テーブル１１０１内の広域画像特徴点の組み１１０４と、広域精細三次元点群情報テーブル１１０５内の広域精細画像特徴点の組み１１０８を照合し、一致する特徴点の組みを見つけ出す。例えば、広域三次元点群情報テーブル１１０１内の広域画像特徴点の組み１１０４は、広域画像特徴点の組み１１０９を有する。広域画像特徴点の組み１１０９は、組の要素である広域画像特徴点ＩＤ４０２としてＡ−００１及びＢ−００１を有する。照合部９０２は、広域精細三次元点群情報テーブル１１０５において、そのＡ−００１及びＢ−００１のすべてを有する広域精細画像特徴点の組み１１０８として、広域精細画像特徴点の組み１１１０を見つけ出す。

次に、ステップＳ１０１０では、統合部９０３は、照合部９０２により見つけ出された特徴点の組み１１１０の中の精細画像の特徴点の組みを広域三次元点群情報テーブル１１０１に統合し、図１１（ｃ）の統合三次元点群情報テーブル１１１２を出力する。統合三次元点群情報テーブル１１１２は、広域三次元点群情報テーブル１１０１に対して、精細画像の特徴点の組み１１１１が追加されたテーブルであり、広域三次元点群と精細画像群との対応関係を得ることが可能となる。このように、画像処理部９０１の各部は、協働して、三次元における位置を示す三次元点群と、精細画像の特徴点とが対応付けられた情報（統合三次元点群情報テーブル）を生成する生成手段としても機能する。

以上説明したように、本実施形態によれば、第１の実施形態の構成を簡略化した上で、広域三次元点群と精細画像群の対応関係を得ることが可能となる。これにより、機能ブロック２０３〜２０５として、外部三次元点群推定モジュールを利用でき、用途に応じて性能や処理コストの異なるモジュールを使い分けることが可能となる。また、本実施形態が第１の実施形態の画像表示部２０９を用いることで、ユーザは外観を示す広域三次元モデル６０２をガイドとして、関心領域を有する精細画像８０３を容易に探索することができる。

なお、ステップＳ１００９では、広域画像特徴点の組み１１０９であるＡ−００１及びＢ−００１のすべてを有する広域精細画像特徴点の組み１１０８を照合する方法を例に挙げたが、これに限らない。例えば、照合部９０２は、広域画像特徴点の組み１１０９であるＡ−００１及びＢ−００１の一部を有する広域精細画像特徴点の組み１１０８を照合するようにしてもよい。

（第３の実施形態）
前述の第１及び第２の実施形態では、画像入力部２０２は、広域画像群と精細画像群とを区別して入力する構成としていた。これに対して、本発明の第３の実施形態では、画像入力部２０２は広域画像群と精細画像群とを区別なく入力し、画像処理部内で広域画像群と精細画像群とを区別する。以下、本実施形態が第１の実施形態と異なる点を説明する。

図１２は、本発明の第３の実施形態による画像処理装置の機能ブロックを示す図である。画像処理装置は、画像処理部１２０１及び画像表示部２０９を有する。画像処理部１２０１は、図２の画像処理部２０１に対して、画像分類部１２０２を追加したものである。なお、本実施形態では、前述の第１の実施形態の画像処理部２０１に画像分類部１２０２を追加する例を説明するが、前述の第２の実施形態の画像処理部９０１に画像分類部１２０２を追加してもよい。

図１３は、画像入力部２０２及び画像分類部１２０２の処理を示すフローチャートである。ユーザは、画像入力部２０２の読み込みに対して、広域画像群と精細画像群を区別なく指定する。ステップＳ１３０１では、画像入力部２０２は、広域画像群と精細画像群を含む全画像を読み込む。次に、ステップＳ１３０２では、画像分類部１２０２は、分類手段であり、画像入力部２０２により読み込まれた全入力画像を広域画像群の画像と精細画像群の画像に分類する。例えば、画像分類部１２０２は、画像に付帯するメタデータから撮影時の焦点距離等を抽出し、その焦点距離等と閾値を比較し、広域画像と精細画像に分類する。画像分類部１２０２は、焦点距離が閾値より短い場合には広域画像に分類し、焦点距離が閾値より長い場合には精細画像に分類する。検出部２０３は、画像分類部１２０２により分類された広域画像及び精細画像に対して特徴点を検出する。

以上説明したように、本実施形態によれば、画像入力部２０２は、ユーザの指定により、広域画像群と精細画像群とを区別することなく入力できる。また、本実施形態は、前述の第１の実施形態又は第２の実施形態と同様の処理を行うことにより、精細画像８０３と広域三次元点群６０３との対応付けと関心領域を有する精細画像の探索が容易になる。

なお、本実施形態では、広域画像と精細画像の分類について、画像のメタデータから判断する方法を例に挙げたが、これに限らない。画像分類部１２０２は、画像データのヒストグラムの分布から判断する方法や画像認識を用いたシーン判定結果から判断する方法等を用いてもよい。

第１〜第３の実施形態によれば、精細画像と広域三次元点との対応付けを精度良く効率的に取得することができる。また、外観を示す広域三次元モデルをガイドとして、関心領域を有する精細画像の探索が容易になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２０２画像入力部、２０３検出部、２０４第１のマッチング部、２０５推定部、２０６第２のマッチング部、２０７照合部、２０８統合部

Claims

第１の画像群よりも広域な撮像範囲で対象物を撮像した第２の画像群に含まれる画像における特徴点を検出する検出手段と、
少なくとも前記第２の画像群に含まれる画像における特徴点に基づいて、前記対象物の三次元点群を決定する決定手段と、
前記三次元点群と、前記第１の画像群に含まれる画像とが対応付けられた情報を生成する生成手段と
を有することを特徴とする画像処理装置。
前記第２の画像群に含まれる任意の画像における特徴点と前記第２の画像群に含まれる他の画像における特徴点とを対応付ける第１の処理を行う対応付け手段を備え、
前記決定手段は、前記第１の処理の結果に基づいて、前記三次元点群を決定することを特徴とする請求項１記載の画像処理装置。
前記検出手段は、前記第１の画像群に含まれる画像における特徴点を検出し、
前記対応付け手段は、前記第２の画像群に含まれる画像における特徴点に、前記第１の画像群に含まれる画像における特徴点を対応付ける第２の処理を行い、
前記生成手段は、前記第２の処理の結果に基づいて、前記三次元点群に対して、前記第１の画像群に含まれる画像における特徴点を対応付ける処理を行うことによって前記情報を生成することを特徴とする請求項２記載の画像処理装置。
前記対応付け手段は、前記第１の画像群及び前記第２の画像群に含まれる任意の画像における特徴点と、前記第１の画像群及び前記第２の画像群に含まれる他の画像における特徴点とを対応付ける第３の処理を行い、
前記決定手段は、前記第３の処理の結果に基づいて、前記情報を生成することを特徴とする請求項１記載の画像処理装置。
前記対応付け手段は、前記第１の画像群及び前記第２の画像群に含まれる任意の画像における特徴点と、前記第１の画像群及び前記第２の画像群に含まれる他の画像における特徴点とを対応付ける第３の処理を行い、
前記決定手段は、前記第１の処理の結果と、前記第３の処理の結果とに基づいて、前記情報を生成することを特徴とする請求項２記載の画像処理装置。
前記決定手段は、前記第１の画像群に含まれる画像における特徴点と前記第２の画像群に含まれる画像における特徴点とに対応する前記対象物の三次元点群に対して、前記三次元点群に対する前記第１の画像群に含まれる画像における特徴点の対応付けが誤っているか否かを評価し、誤っている場合には、前記三次元点群に対する前記第１の画像群に含まれる画像における特徴点の対応付けを除去することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
さらに、入力画像を前記第１の画像群の画像と前記第２の画像群の画像に分類する分類手段を有し、
前記検出手段は、前記分類手段により分類された画像に対して特徴点を検出することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
さらに、前記情報を基に、三次元モデルを表示する三次元モデル表示手段と、
前記情報を基に、前記三次元モデルの上に前記三次元点群を表示する三次元点群表示手段と
を有することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
さらに、前記三次元点群表示手段により表示された前記三次元点群の中の三次元点が指定されると、前記指定された三次元点に対応する前記第１の画像群に含まれる画像を表示する画像表示手段を有することを特徴とする請求項８記載の画像処理装置。
第１の画像群よりも広域な撮像範囲で対象物を撮像した第２の画像群に含まれる画像における特徴点を検出する検出ステップと、
少なくとも前記第２の画像群に含まれる画像における特徴点に基づいて、前記対象物の三次元点群を決定する決定ステップと、
前記三次元点群と、前記第１の画像群に含まれる画像とが対応付けられた情報を生成する生成ステップと
を有することを特徴とする画像処理方法。
第１の画像群よりも広域な撮像範囲で対象物を撮像した第２の画像群に含まれる画像における特徴点を検出する検出ステップと、
少なくとも前記第２の画像群に含まれる画像における特徴点に基づいて、前記対象物の三次元点群を決定する決定ステップと、
前記三次元点群と、前記第１の画像群に含まれる画像とが対応付けられた情報を生成する生成ステップと
をコンピュータに実行させるためのプログラム。