JP2023020180A - 画像管理装置、画像管理方法、及びプログラム - Google Patents

Abstract

【課題】複数の画像の紐付け及び特定の画像の取り出しを自動化して画像管理における負担を軽減する。【解決手段】画像管理装置１０は対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定部１１と、抽出された特徴点の抽出元となった２次元画像の識別情報、及び抽出された特徴点に対応する３次元の点を関連付ける、画像管理部１２と、対象物の特定の部位が指定されると、指定された部位に対応する３次元の点を特定し、更に、特定した３次元の点に関連付けられた２次元画像の識別情報を特定する、２次元画像特定部１３と、識別情報が特定された２次元画像を画面に表示する、表示部１４と、を備えている。【選択図】図１

Description

本発明は、複数の画像を紐付けて管理するための、画像管理装置及び画像管理方法に関し、更には、これらを実現するためのプログラムに関する。

近年、空き家の増加が社会問題となっている（例えば、非特許文献１参照。）。このような社会問題となるのは、空き家は長年放置されていることが多く、老朽化による崩壊の可能性があり、危険だからである。また、不審者による放火の可能性や、不審者が空き家に勝手に住み着いてしまう可能性があり、空き家の増加は治安悪化につながるからである。

このような空き家の問題を解消するため、自治体等は空き家の実体調査を行っている。実体調査では、空き家の状況を把握するため、現地調査員による空き家の撮影が行われる。撮影は、全体だけでなく、細部に渡って行われる。そして、撮影された多数の画像は空き家毎に紐付けされ、紐付けられた状態で、データベース等に管理される。担当者は、画像を確認して、崩壊の可能性、放火の可能性、不審者の居住状況等を判断する。

「空家等に関する施策を総合的かつ計画的に実施するための基本的な指針」，［online］，平成27年2月26日付け総務省・国土交通省告示第１号（最終改正 令和3年6月30日付け総務省・国土交通省告示第１号），［令和3年7月8日検索］，インターネット＜URL：https://www.mlit.go.jp/jutakukentiku/house/content/001411707.pdf＞

ところで、上述したように、空き家の画像は、家単位で紐付けられて管理されるが、画像の紐付けは人手によって行われている。具体的には、画像の管理者が、表計算ソフト又はワープロソフトといったアプリケーションソフトの画面上で、全体画像に対して細部の各画像を矢印等で結びつけることによって行われる。このため、画像間の紐付け作業は、管理者にとって負担となっている。また、空き家の調査員が、特定の空き家の詳細を確認したい場合は、画面上で紐付けを確認して、所望の画像を特定する必要がある。このような詳細画像の取り出しも、調査員にとって負担となる。

本発明の目的の一例は、複数の画像の紐付け及び特定の画像の取り出しを自動化して画像管理における負担を軽減し得る、画像管理装置、画像管理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における画像管理装置は、
対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定部と、
抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理部と、
対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定部と、
識別情報が特定された前記２次元画像を画面に表示する、表示部と、
を備えている、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における画像管理方法は、
対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定ステップと、
抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理ステップと、
対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定ステップと、
識別情報が特定された前記２次元画像を画面に表示する、表示ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定ステップと、
抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理ステップと、
対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定ステップと、
識別情報が特定された前記２次元画像を画面に表示する、表示ステップと、
を実行させる、ことを特徴とする。

以上のように本発明によれば、複数の画像の紐付け及び特定の画像の取り出しを自動化でき、画像管理における負担を軽減できる。

図１は、実施の形態における画像管理装置の概略構成を示す構成図である。 図２は、実施の形態における画像管理装置の構成を具体的に示す構成図である。 図３は、３次元点群データの生成用の動画データを構成するフレームの一例を示す図である。 図４は、３次元点群データの生成に用いられるペア画像の一例を示す図である。 図５は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。 図６は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。 図７は、３次元点群データの３次元点と２次元画像データの特徴点との対応関係の一例を示す図である。 図８は、図７に示す対応関係から作成された関連付データの一例を示す図である。 図９は、２次元画像特定部による処理を説明する図である。 図１０は、実施の形態における画像管理装置による３次元点群データ及び関連付データの生成処理を示すフロー図である。 図１１は、実施の形態における画像管理装置による２次元画像の表示処理を示すフロー図である。 図１２は、変形例において用いられる関連付データの一例を示す図である。 図１３は、変形例における２次元画像特定部による処理の一例を説明する図である。 図１４は、変形例における２次元画像特定部による処理の他の例を説明する図である。 図１５は、実施の形態における画像管理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、実施の形態における、画像管理装置、画像管理方法、及びプログラムについて、図１～図１５を参照しながら説明する。

［装置構成］
最初に、実施の形態における画像管理装置の概略構成について図１を用いて説明する。図１は、実施の形態における画像管理装置の概略構成を示す構成図である。

図１に示す画像管理装置１０は、複数の画像を紐付けて管理するための装置である。図１に示すように、画像管理装置１０は、３次元点特定部１１と、画像管理部１２と、２次元画像特定部１３と、表示部１４とを備えている。

３次元点特定部１１は、対象物の３次元点群データを構成する３次元の点（以下「３次元点」と表記する。）のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元点を特定する。ここで、３次元点群データは、３次元座標が算出された特徴点の集合で構成されたデータである。本明細書において３次元点は、３次元座標が算出された特徴点を意味する。画像管理部１２は、抽出された特徴点の抽出元となった２次元画像の識別情報、及び抽出された特徴点に対応する３次元点を関連付ける。

２次元画像特定部１３は、対象物の特定の部位が指定されると、指定された部位に対応する３次元点を特定し、更に、特定した３次元点に関連付けられた２次元画像の識別情報を特定する。表示部１４は、識別情報が特定された２次元画像を画面に表示する。

このように、画像管理装置１０は、対象物の３次元点群データを構成する３次元点と２次元画像とを自動的に紐付ける。また、画像管理装置１０は、対象物の特定の部位が指定されると、自動的に、指定された部位に対応する２次元画像を特定し、特定した２次元画像を画面に表示する。つまり、画像管理装置１０によれば、複数の画像の紐付け及び特定の画像の取り出しを自動化でき、画像管理における負担が軽減されることになる。

続いて、図２～図９を用いて、実施の形態における画像管理装置１０の構成及び機能について具体的に説明する。図２は、実施の形態における画像管理装置の構成を具体的に示す構成図である。

図２に示すように、実施の形態においては、画像管理装置１０は、上述した３次元点特定部１１、画像管理部１２、２次元画像特定部１３、及び表示部１４に加えて、データ取得部１５と、特徴点抽出部１６と、入力受付部１７と、記憶部２０とを備えている。

データ取得部１５は、対象物の動画データ２１及び２次元画像データ２２を取得し、取得した動画データ２１及び２次元画像データ２２を記憶部２０に格納する。記憶部２０は、記憶装置の記憶領域によって構築されている。

３次元点特定部１１は、実施の形態では、データ取得部１５によって取得された、動画データ２１の各フレームを用いて、対象物の３次元点群データを生成し、生成した３次元点群データ２３を記憶部２０に格納する。なお、３次元点群データの生成は、動画データ２１と２次元画像データ２２とを用いて行われても良いし、２次元画像データ２２のみで行われても良い。

図３～図６を用いて、３次元点特定部１１による３次元点群データの生成処理について具体的に説明する。図３は、３次元点群データの生成用の動画データを構成するフレームの一例を示す図である。図４は、３次元点群データの生成に用いられるペア画像の一例を示す図である。図５は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図６は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。

図３に示すように、３次元点特定部１１は、最初に、動画データを構成するフレームの中から一組のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。画像３１及び画像３２は２次元画像である。図３の例では、２枚の画像が例示されているが、３次元点特定部１１は、３枚以上の画像を選択することもできる。

次に、３次元点特定部１１は、画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。図３において、丸で囲まれた部分は特徴点の一つである。

図４に示すように、画像３１から抽出されている特徴点（ｍ_１～ｍ_５）と、画像３２から抽出されている特徴点（ｍ’_１～ｍ’_５）とは対応している。ｍ_１とｍ’_１、ｍ_２とｍ’_２、ｍ_３とｍ’_３、ｍ_４とｍ’_４、ｍ_５とｍ’_５は、それぞれ特徴点の組合せ（以下「特徴点ペア」とも表記する）である。また、図４の例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図４において、Ｍ（Ｍ_１～Ｍ_５）は、各特徴点に対応する対象物上の３次元座標である。

続いて、３次元点特定部１１は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ_１～ｍ_５、ｍ’_１～ｍ’_５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｐと、画像３２を撮影したカメラ４２のカメラ行列Ｐ’とを算出する。また、カメラ行列Ｐ及びカメラ行列Ｐ’は、カメラ４１の位置を原点とすると、それぞれ下記の数１及び数２によって表すことができる。

上記数１において、Ｉは、カメラ４１の回転行列である。図５に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数２において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒ_ｘ,Ｒ_ｙ，Ｒ_ｚ））。ｔは、上述したように並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔ_ｘ,ｔ_ｙ，ｔ_ｚ））。

従って、この場合は、カメラ行列Ｐ及びカメラ行列Ｐ’から逆算することによって、Ｒ及びｔを算出することが出来る。３次元点特定部１１は、各特徴点の座標を用いて、下記の数３～数５に示す方程式を解くことによって、Ｒ及びｔを算出する。数３～数５において、ｍハットは、ｍ（ｍ_１～ｍ_５）を正規化して得られた画像３１上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’_１～ｍ’_５）を正規化して得られた画像３２上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。

また、キャリブレーション行列Ｋは、下記の数６及び数７から求めることができる。なお、ｃ_ｘ、ｃ_ｙは、カメラの中心座標である。

次に、３次元点特定部１１は、各カメラの位置の３次元座標と回転行列とを用いて、三角測量法により特徴点の３次元座標Ｍ（Ｍ_１～Ｍ_５）を算出する。

次に、図６に示すように、３次元点特定部１１は、特徴点が抽出されている画像であって、動画データ２１を構成する、初期ペア画像以外のフレームの中から、１つのフレーム（画像３３）を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。なお、本例では、カメラ４１～４３は、対象物に対する相対位置の点で、それぞれ異なるが、実際には、動画を撮影した同じカメラである。

そして、３次元点特定部１１は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’_１～ｍ’’_３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、３次元点特定部１１は、画像３３を撮影したカメラ４３のカメラ行列Ｐｎを算出する。カメラ行列Ｐｎは、下記の数８によって表すことができる。

具体的には、３次元点特定部１１は、画像３３の特定された特徴点の画像３３における２次元座標と対応する３次元座標Ｍ_１～Ｍ_３を用いて、ＰｎＰ法によってカメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを算出する。

そして、３次元点特定部１１は、上述の処理を繰り返し実行して、対象物の特徴点それぞれについて３次元座標を算出すると、３次元座標が算出された特徴点の集合によって、対象物の３次元点群データ２３を構築する。また、３次元点特定部１１は、構築した３次元点群データ２３を記憶部２０に格納する。

特徴点抽出部１６は、記憶部２０から２次元画像データ２２を読み出し、読み出した２次元画像データによる２次元画像それぞれから特徴点を抽出する。具体的には、特徴点抽出部１６は、上述した３次元点特定部１１と同様に、２次元画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定し、特定した特徴点を抽出する。

また、３次元点特定部１１は、特徴点抽出部１６が２次元画像から特徴点を抽出すると、記憶部２０に格納されている３次元点群データ２３を読み出す。そして、３次元点特定部１１は、読み出した３次元点群データ２３を構成する３次元点の集合と、２次元画像から特徴点抽出部１６によって抽出された特徴点とを、それぞれの特徴量について比較する。そして、３次元点特定部１１は、抽出された特徴点毎に、特徴量の一致度合が閾値よりも高い３次元点を特定する。

なお、上述したように、３次元点群データ２３の生成が、動画データ２１と２次元画像データ２２とで行われている場合、又は２次元画像データ２２のみで行われている場合は、２次元画像の特徴量の抽出は、３次元点特定部１１によって、３次元点群データの生成時に実行される。また、これらの場合、３次元点特定部１１は、２次元画像の特徴点に対応する３次元点の特定処理を、３次元点群データの生成時に実行することになる。更に、これらの場合は、画像管理装置１０は、特徴点抽出部１６を備えていない構成となる。

画像管理部１２は、実施の形態では、抽出された特徴点の抽出元となった２次元画像の識別情報と、抽出された特徴点に対応するとして特定された３次元点とを関連付け、これらの関連性を示す関連付データ２４を作成する。また、画像管理部１２は、作成した関連付データ２４を記憶部２０に格納する。

また、画像管理部１２は、関連付データ２４を記憶部２０に格納する場合に、３次元点によってｋｄ木構造を構築することもできる。このような態様とする場合は、後述する２次元画像特定部１３による関連付データ２４の照合処理（検索処理）を高速化することができる。

図７及び図８を用いて、特徴点抽出部１６、３次元点特定部１１及び画像管理部１２による処理について具体的に説明する。図７は、３次元点群データの３次元点と２次元画像データの特徴点との対応関係の一例を示す図である。図８は、図７に示す対応関係から作成された関連付データの一例を示す図である。

図７の例では、特徴点抽出部１６は、記憶部２０から２次元画像データ２２として、２次元画像データＩＤ１～ＩＤ３を読み出す。そして、特徴点抽出部１６は、２次元画像データＩＤ１から特徴点ａ_１、ａ_２、ａ_３を抽出し、２次元画像データＩＤ２から特徴点ａ’_１、ａ’_２、ａ’_３を抽出し、更に、２次元画像データＩＤ３から特徴点ａ’’_１、ａ’’_２、ａ’’_３を抽出する。

図７の例では、３次元点特定部１１は、記憶部２０から読み出した３次元点群データ２３を構成する３次元点の集合と、特徴点抽出部１６によって抽出された特徴点（ａ_１、ａ_２、ａ_３、ａ’_１、ａ’_２、ａ’_３、ａ’’_１、ａ’’_２、ａ’’_３）とを、それぞれの特徴量について比較する。そして、３次元点特定部１１は、２次元画像データＩＤ１の特徴点（ａ_１、ａ’_１、ａ’’_１）に対応して３次元点Ａ_１を特定する。また、３次元点特定部１１は、２次元画像データＩＤ２の特徴点（ａ_２、ａ’_２、ａ’’_２）に対応して３次元点Ａ_２を特定し、２次元画像データＩＤ３の特徴点（ａ_３、ａ’_３、ａ’’_３）に対応して３次元点Ａ_３を特定する。

３次元点特定部１１によって、２次元画像データの特徴点に対応する３次元点が特定されると、図８に示すように、画像管理部１２は、特徴点の抽出元の２次元画像の識別情報（ＩＤ）と、３次元点とを関連付け、関連付データ２４を作成する。図８の例では、３次元点は、２次元画像データの識別情報（ＩＤ）と、２次元画像データの特徴点とに、関連付けられている。

表示部１４は、図２に示すように表示装置５０に接続されており、表示装置５０の画面に情報を表示する。実施の形態では、情報の表示先は、画像管理装置１０に接続された端末装置の画面であっても良い。表示部１４は、上述した２次元画像だけでなく、３次元点群データ２３も画面上に表示する。

表示部１４によって３次元点群データ２３が画面上に表示されると、実施の形態では、ユーザは、画面上で、入力機器を用いて、３次元点群データ２３によって表示されている対象物上で、その特定の部位を指定する。入力受付部１７は、入力機器を介して、指定された部位の情報の入力を受け付け、受け付けた部位の情報を、２次元画像特定部１３に送る。入力機器としては、タッチパネル、マウス、キーボード、端末装置等が挙げられる。

２次元画像特定部１３は、実施の形態では、まず、記憶部２０から、３次元点群データ２３と関連付データ２４とを読み出す。そして、２次元画像特定部１３は、対象物の特定の部位が指定されると、指定された部位に存在する３次元点を特定する。具体的には、２次元画像特定部１３は、例えば、対象物上の一点がクリックなどによって指定されると、その点を中心とした設定範囲内において、３次元点を探索し、探索された３次元点のうち、指定された点に最も近い３次元点を特定する。続いて、２次元画像特定部１３は、特定した３次元点を関連付データ２４に照合して、３次元点に関連付けられた２次元画像データのＩＤを特定する。

その後、２次元画像特定部１３は、特定したＩＤを表示部１４に通知する。これにより、表示部１４は、記憶部２０から、通知されたＩＤに該当する２次元画像データを読み出し、読み出した２次元画像データを表示装置５０の画面に表示する。

図９を用いて、２次元画像特定部１３による処理について具体的に説明する。図９は、２次元画像特定部による処理を説明する図である。

図９に示すように、ユーザが、３次元点群データ上で特定の部位を指定したとする。この場合、２次元画像特定部１３は、指定された部位に存在する３次元点として、３次元点Ａ_１を特定し、更に、特定した３次元点Ａ_１を関連付データ２４（図８参照）に照合する。

図８に示したように、３次元点Ａ_１は、２次元画像データＩＤ１～ＩＤ３に関連付けられているので、２次元画像特定部１３は、ＩＤ１～３を特定する。これにより、表示部１４は、画面上に、２次元画像データＩＤ１～ＩＤ３の２次元画像を表示する。

［装置動作］
続いて、実施の形態における画像管理装置の動作について図１０及び図１１を用いて説明する。以下の説明においては、適宜図１～図９を参照する。また、実施の形態では、画像管理装置を動作させることによって、画像管理方法が実施される。よって、実施の形態における画像管理方法の説明は、以下の画像管理装置の動作説明に代える。

まず、図１０を用いて、３次元点群データ２３及び関連付データ２４の生成までの処理について説明する。図１０は、実施の形態における画像管理装置による３次元点群データ及び関連付データの生成処理を示すフロー図である。

図１０に示すように、最初に、データ取得部１５は、対象物の動画データ２１及び２次元画像データ２２を取得する（ステップＡ１）。ステップＡ１では、データ取得部１５は、取得した動画データ２１及び２次元画像データ２２を記憶部２０に格納する。

次に、３次元点特定部１１は、ステップＡ１で取得された、動画データ２１の各フレームを用いて、図３～図６に示したように、対象物の３次元点群データ２３を生成する（ステップＡ２）。ステップＡ２では、３次元点特定部１１は、生成した３次元点群データ２３を記憶部２０に格納する。

次に、特徴点抽出部１６は、図７に示したように、ステップＡ１で取得された２次元画像データ２２による２次元画像それぞれから、特徴点を抽出する（ステップＡ３）。

次に、３次元点特定部１１は、ステップＡ２で生成された３次元点群データ２３を構成する３次元点の集合と、ステップＡ３で抽出された特徴点とを、それぞれの特徴量について比較する。そして、３次元点特定部１１は、図７に示したように、比較結果に基づいて、ステップＡ３で抽出された特徴点に対応する３次元点を特定する（ステップＡ４）。

なお、上述したように、３次元点群データ２３の生成が、動画データ２１と２次元画像データ２２とで行われている、又は２次元画像データ２２のみで行われている、とする。これの場合は、２次元画像の特徴量の抽出処理（ステップＡ３）と抽出された特徴点に対応する３次元点の特定処理（ステップＡ４）とは、ステップＡ２における３次元点群データの生成処理において実行されることになる。これらの場合においては、ステップＡ３とステップＡ４とはステップＡ２に統合される。但し、これらの場合においても、新たに２次元画像データが追加される場合は、新たに追加された２次元画像データに対して、ステップＡ３及びＡ４が実行される。

次に、画像管理部１２は、ステップＡ３で抽出された特徴点の抽出元となった２次元画像の識別情報と、ステップＡ４で特定された３次元点とを関連付け、これらの関連性を示す関連付データ２４を作成する（ステップＡ５）。ステップＡ５では、画像管理部１２は、作成した関連付データ２４を記憶部２０に格納する。

ステップＡ１～Ａ５の実行により、自動的に複数の画像の紐付けが行われる。ユーザにおいて、画像管理における負担が軽減される。

図１１を用いて、３次元点群データ２３及び関連付データ２４の生成までの処理について説明する。図１１は、実施の形態における画像管理装置による２次元画像の表示処理を示すフロー図である。

図１１に示すように、最初に、表示部１４は、表示装置５０の画面上に、３次元点群データ２３によって対象物を表示する（ステップＢ１）。対象物としては、図９に示したように家屋が挙げられる。

次に、入力受付部１７は、ユーザが入力機器を用いて、画面上で対象物の特定の部位を指定すると、入力機器を介して、指定された部位の情報の入力を受け付ける（ステップＢ２）。ステップＢ２では、入力受付部１７は、受け付けた部位の情報を、２次元画像特定部１３に送る。

次に、２次元画像特定部１３は、ステップＢ２の実行後、記憶部２０から、３次元点群データ２３と関連付データ２４とを読み出し、指定された部位に存在する３次元点を特定する（ステップＢ３）。

次に、２次元画像特定部１３は、特定した３次元点を関連付データ２４に照合して、３次元点に関連付けられた２次元画像データのＩＤを特定する（ステップＢ４）。ステップＢ４では、２次元画像特定部１３は、特定したＩＤを表示部１４に通知する。

その後、表示部１４は、記憶部２０から、ステップＢ４で特定されたＩＤに該当する２次元画像データを読み出し、読み出した２次元画像データの２次元画像を表示装置５０の画面に表示する（ステップＢ５）。

ステップＢ１～Ｂ５の実行により、ユーザが、３次元点群データ上で特定の部位を指定するだけで、自動的に特定部位の２次元画像も画面に表示される。ユーザは、関連付を人手で辿って２次元画像を確認する必要がない。

以上のように、実施の形態では、画像管理装置１０は、対象物の３次元点群データ２３と２次元画像データ２２と関連付ける関連付データ２４を生成することで、これらを自動的に紐付ける。また、画像管理装置１０は、関連付データ２４を用いることで、対象物の特定の部位が指定されると、自動的に、指定された部位に対応する２次元画像を画面に表示することができる。画像管理装置１０によれば、複数の画像の紐付け及び対象物の詳細画像の取り出しを自動化でき、対象物の画像管理における負担が軽減されることになる。

［変形例］
続いて、実施の形態の変形例について図１２～図１４を用いて説明する。図１２は、変形例において用いられる関連付データの一例を示す図である。図１３は、変形例における２次元画像特定部による処理の一例を説明する図である。図１４は、変形例における２次元画像特定部による処理の他の例を説明する図である。

本変形例においても、図１２に示すように、画像管理部１２は、関連付データとして、図８に示した、２次元画像の識別情報（ＩＤ）と３次元点とを関連付ける関連付データ（以下「第１の関連付データ」と表記する。）を作成する。但し、本変形例では、画像管理部１２は、第１の関連付データに加えて、２次元画像データ毎に特徴点と対応する３次元点とを関連付ける関連付データ（以下「第２の関連付データ」と表記する。）も作成する。

このため、図１３に示すように、本変形例では、２次元画像データの２次元画像が表示されている場合に、ユーザは、２次元画像上で、入力機器を用いて、対象物上の特定の部位を指定することができる。

２次元画像特定部１３は、指定された部位に存在する特徴点を特定する。具体的には、２次元画像特定部１３は、例えば、対象物上の一点がクリックなどによって指定されると、その点を中心とした設定範囲内において、２次元画像の特徴点を探索し、探索された特徴点のうち、指定された点に最も近い特徴点を特定する。続いて、２次元画像特定部１３は、特定した特徴点を第２の関連付データに照合して、対応する３次元点を特定し、更に、特定した３次元点を第１の関連付データに照合して、３次元点に関連付けられた２次元画像データのＩＤを特定する。

図１３の例では、２次元画像データＩＤ２の２次元画像が表示装置５０の画面に表示され、この２次元画像において特定の部位が指定される。これにより、２次元画像特定部１３は特徴点ａ’_１を特定し、更に、これに対応する３次元点Ａ_１を特定する。そして、２次元画像特定部１３は、３次元点Ａ_１に関連付けられているＩＤ２以外のＩＤ１及びＩＤ３を特定する。その後、表示部は、２次元画像データＩＤ１及びＩＤ３の２次元画像を表示装置５０の画面に表示する。

また、本変形例では、対象物の全体を示す２次元画像の２次元画像データを用意しておき、この２次元画像データも含めて第１の関連付データ及び第２の関連付データを作成することもできる。この場合は、図１４に示すように、対象物の全体を示す２次元画像を画面に表示し、この２次元画像において、ユーザに特定の部位を指定させても良い。また、この場合は、ユーザにおいて、全体を確認しつつ、細部を確認することが容易となる。

３次元点群データは、画面に表示した場合、２次元画像に比べて、ディティールを明確に表示することが難しいという問題がある。これに対して、本変形例によれば、ユーザは、３次元点群データではなくて、２次元画像上で、特定の部位を指定することができるので、ユーザにとって部位の指定が容易となる。

［プログラム］
実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１～Ａ５、図１１に示すステップＢ１～Ｂ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態における画像管理装置１０と画像管理方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点抽出部１６、３次元点特定部１１、画像管理部１２、２次元画像特定部１３、表示部１４、データ取得部１５、及び入力受付部１７として機能し、処理を行なう。コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。

また、実施の形態では、記憶部２０は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。

また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴点抽出部１６、３次元点特定部１１、画像管理部１２、２次元画像特定部１３、表示部１４、データ取得部１５、及び入力受付部１７のいずれかとして機能しても良い。

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、画像管理装置１０を実現するコンピュータについて図１５を用いて説明する。図１５は、実施の形態における画像管理装置を実現するコンピュータの一例を示すブロック図である。

図１５に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。

ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。

また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における画像管理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア（例えば、電子回路等）を用いることによっても実現可能である。更に、画像管理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定部と、
抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理部と、
対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定部と、
識別情報が特定された前記２次元画像を画面に表示する、表示部と、
を備えている、
ことを特徴とする画像管理装置。

（付記２）
付記１に記載の画像管理装置であって、
前記２次元画像特定部が、画面に表示された前記３次元点群データにおいて前記特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
ことを特徴とする画像管理装置。

（付記３）
付記１に記載の画像管理装置であって、
前記画像管理部が、前記対象物の特定の画像から抽出された特徴点を、それに対応する前記３次元の点に更に関連付けており、
前記２次元画像特定部が、画面に表示された前記特定の画像において前記特定の部位が指定されると、指定された部位に対応する特徴点を特定し、更に、特定した特徴点に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
ことを特徴とする画像管理装置。

（付記４）
付記１～３のいずれかに記載の画像管理装置であって、
前記画像管理部が、前記識別情報と前記３次元の点とを関連付けた状態で、且つ、前記３次元の点によってｋｄ木構造が構築されるようにして、前記識別情報と前記３次元の点とを記憶装置の記憶領域に格納する、
ことを特徴とする画像管理装置。

（付記５）
対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定ステップと、
抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理ステップと、
対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定ステップと、
識別情報が特定された前記２次元画像を画面に表示する、表示ステップと、
を有する、
ことを特徴とする画像管理方法。

（付記６）
付記５に記載の画像管理方法であって、
前記２次元画像特定ステップにおいて、画面に表示された前記３次元点群データにおいて前記特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
を更に備えている、
ことを特徴とする画像管理方法。

（付記７）
付記５に記載の画像管理方法であって、
前記画像管理ステップにおいて、前記対象物の特定の画像から抽出された特徴点を、それに対応する前記３次元の点に更に関連付けており、
前記２次元画像特定ステップにおいて、画面に表示された前記特定の画像において前記特定の部位が指定されると、指定された部位に対応する特徴点を特定し、更に、特定した特徴点に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
ことを特徴とする画像管理方法。

（付記８）
付記５～７のいずれかに記載の画像管理方法であって、
前記画像管理ステップにおいて、前記識別情報と前記３次元の点とを関連付けた状態で、且つ、前記３次元の点によってｋｄ木構造が構築されるようにして、前記識別情報と前記３次元の点とを記憶装置の記憶領域に格納する、
ことを特徴とする画像管理方法。

（付記９）
コンピュータに、
対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定ステップと、
抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理ステップと、
対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定ステップと、
識別情報が特定された前記２次元画像を画面に表示する、表示ステップと、
を実行させる、プログラム。

（付記１０）
付記９に記載のプログラムであって、
前記２次元画像特定ステップにおいて、画面に表示された前記３次元点群データにおいて前記特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
ことを特徴とするプログラム。

（付記１１）
付記９に記載のプログラムであって、
前記画像管理ステップにおいて、前記対象物の特定の画像から抽出された特徴点を、それに対応する前記３次元の点に更に関連付けており、
前記２次元画像特定ステップにおいて、画面に表示された前記特定の画像において前記特定の部位が指定されると、指定された部位に対応する特徴点を特定し、更に、特定した特徴点に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
ことを特徴とするプログラム。

（付記１２）
付記９～１１のいずれかに記載のプログラムであって、
前記画像管理ステップにおいて、前記識別情報と前記３次元の点とを関連付けた状態で、且つ、前記３次元の点によってｋｄ木構造が構築されるようにして、前記識別情報と前記３次元の点とを記憶装置の記憶領域に格納する、
ことを特徴とするプログラム。

以上のように本発明によれば、複数の画像の紐付け及び特定の画像の取り出しを自動化でき、画像管理における負担を軽減できる。本発明の多数の画像を関連付けて管理することが求められる種々のシステムに有用である。

１０ 画像管理装置
１１ ３次元点特定部
１２ 画像管理部
１３ ２次元画像特定部
１４ 表示部
１５ データ取得部
１６ 特徴点抽出部
１７ 入力受付部
２０ 記憶部
２１ 動画データ
２２ ２次元画像データ
２３ ３次元点群データ
２４ 関連付データ
３１，３２，３３ 画像（２次元画像）
４１，４２，４３ カメラ
５０ 表示装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (6)

1. 対象物の３次元点群データを構成する３次元の点のうち、前記対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定部と、
   抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理部と、
   対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定部と、
   識別情報が特定された前記２次元画像を画面に表示する、表示部と、
   を備えている、
   ことを特徴とする画像管理装置。
2. 請求項１に記載の画像管理装置であって、
   前記２次元画像特定部が、画面に表示された前記３次元点群データにおいて前記特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
   ことを特徴とする画像管理装置。
3. 請求項１に記載の画像管理装置であって、
   前記画像管理部が、前記対象物の特定の画像から抽出された特徴点を、それに対応する前記３次元の点に更に関連付けており、
   前記２次元画像特定部が、画面に表示された前記特定の画像において前記特定の部位が指定されると、指定された部位に対応する特徴点を特定し、更に、特定した特徴点に対応する前記３次元の点を特定し、そして、前記２次元画像の識別情報を特定する、
   ことを特徴とする画像管理装置。
4. 請求項１～３のいずれかに記載の画像管理装置であって、
   前記画像管理部が、前記識別情報と前記３次元の点とを関連付けた状態で、且つ、前記３次元の点によってｋｄ木構造が構築されるようにして、前記識別情報と前記３次元の点とを記憶装置の記憶領域に格納する、
   ことを特徴とする画像管理装置。
5. 対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定ステップと、
   抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理ステップと、
   対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定ステップと、
   識別情報が特定された前記２次元画像を画面に表示する、表示ステップと、
   を有する、
   ことを特徴とする画像管理方法。
6. コンピュータに、
   対象物の３次元点群データを構成する３次元の点のうち、対象物を撮影して得られた２次元画像から抽出した特徴点に対応する３次元の点を特定する、３次元点特定ステップと、
   抽出された前記特徴点の抽出元となった前記２次元画像の識別情報、及び抽出された前記特徴点に対応する前記３次元の点を関連付ける、画像管理ステップと、
   対象物の特定の部位が指定されると、指定された前記部位に対応する前記３次元の点を特定し、更に、特定した前記３次元の点に関連付けられた前記２次元画像の識別情報を特定する、２次元画像特定ステップと、
   識別情報が特定された前記２次元画像を画面に表示する、表示ステップと、
   を実行させる、プログラム。

Images