JP2018128927A - 画像情報合成システム - Google Patents

Abstract

【課題】撮影対象物を撮影した複数の画像情報を合成する画像情報合成システムを提供することを目的とする。【解決手段】撮影対象物を撮影した複数の画像情報を一つの画像情報に合成する画像情報合成システムであって，画像情報合成システムは，撮影対象物に設置されたマーカーが少なくとも一以上写っている画像情報から，マーカーを識別するマーカー識別情報を認識するマーカー識別情報認識処理部と，認識したマーカー識別情報が同一の画像情報について，それぞれの画像情報におけるマーカーが同一の位置に重なるように画像情報の合成処理を実行する画像情報合成処理部と，を備える画像情報合成システムである。【選択図】 図１

Description

本発明は，撮影対象物を撮影した複数の画像情報を合成する画像情報合成システムに関する。

壁面の補修などを行う工事現場では，その劣化状況等を確認するため，壁面などの構造物を撮影し，ひび割れなどの確認を行うことがある。ひび割れなどの確認のためには，ひび割れなどが確認できる距離から撮影を行わなければならないが，壁面などのように撮影対象物の大きさが大きい場合もあり，一度では壁面の全体が撮影できない場合もある。

このような場合，壁面を複数回にわたって撮影し，複数の画像情報を連結して一つの画像情報とする作業が必要である。このような作業はソフトウェアを用いて行われることが一般的であって，たとえば非特許文献１に示すマイクロソフト社のソフトウェア「Image Composite Editor」が知られている。

Microsoft Corporation，"Image Composite Editor"，[online]，インターネット＜ＵＲＬ：http://research.microsoft.com/en-us/um/redmond/projects/ice/＞

非特許文献１に示すソフトウェアの場合，連続する複数の画像情報から共通点を見つけることで，各画像情報を連結し，一つの画像情報として生成する。そのため，任意の画像情報を自動的に連結することができるが，たとえば工事現場の壁面などのようなコンクリート構造物や，道路の路面などのようなアスファルト舗装の場合には，どれも似たような画像情報であって，画像情報中に特徴がないことも多い。そのため，とくにコンクリート構造物やアスファルト舗装などを撮影対象物とする場合は複数の画像情報を連結し，一つの画像情報として合成することは容易ではない。

そこで本発明者は，上記課題に鑑み，特徴のない撮影対象物，とくにコンクリート構造物やアスファルト舗装でも対応可能な画像情報合成システムを発明した。

第１の発明は，撮影対象物を撮影した複数の画像情報を一つの画像情報に合成する画像情報合成システムであって，前記画像情報合成システムは，撮影対象物に設置されたマーカーが少なくとも一以上写っている画像情報から，前記マーカーを識別するマーカー識別情報を認識するマーカー識別情報認識処理部と，前記認識したマーカー識別情報が同一の画像情報について，それぞれの画像情報におけるマーカーが同一の位置に重なるように画像情報の合成処理を実行する画像情報合成処理部と，を備える画像情報合成システムである。

本発明のように，撮影対象物にマーカーを設置し，そのマーカーが写るように撮影された画像情報を用いることで，特徴のない撮影対象物を撮影した画像情報であっても，一つの画像情報に合成することが可能となる。

上述の発明において，前記画像情報合成システムは，さらに，前記マーカー識別情報の認識処理の前に，前記画像情報について，前記撮影対象物を正対した状態で同一倍率で撮影した状態に補正する正置化処理を実行する正置化処理部，を備える画像情報合成システムのように構成することができる。

撮影対象物を撮影する場合には，正対した状態で撮影できるとは限らないし，全ての画像情報が同一の倍率であるとも限らない。そこで本発明のように正置化処理を実行することで，画像情報の合成の精度を向上させることができるとともに，自然な画像情報を合成することができる。

上述の発明において，前記正置化処理部は，前記画像情報に写っているマーカーの複数の特徴点の位置を検出して各特徴点で構成される閉領域をマーカーの表示領域とし，前記マーカーの表示領域が所定の矩形領域となるように，前記画像情報に対して台形補正処理を実行し，前記マーカーの表示領域が水平，垂直となるように前記画像情報を回転する回転処理を実行し，前記マーカーの表示領域があらかじめ定められた倍率になるように前記画像情報の拡大または縮小する処理を実行する，画像情報合成システムのように構成することができる。

正置化処理は本発明のように処理を実行することができる。

上述の発明において，前記マーカーは，外形が正方形または長方形であって，その頂点が前記特徴点として撮影対象物とは異なる色で着色されており，前記マーカーを識別するためのマーカー識別情報および／またはそのマーカー識別情報をコード化したコード化マーカー識別情報を，備えている画像情報合成システムのように構成することができる。

本発明の処理を実行する場合，マーカーが基本となる。そのため適切にマーカーの表示領域を認識する必要があるが，撮影対象物に溶け込んでしまう色であると，その自動認識が適切に行えない。そこで本発明のように，マーカーの特徴点は撮影対象物とは異なる色とし，マーカーを識別するための情報をマーカーに付することで，その自動認識の精度を向上させることができる。

上述の発明において，前記マーカーは，水平器を備えている，画像情報合成システムのように構成することができる。

マーカーは撮影対象物に水平に設置されていなければならない。そのため，水平器をマーカーに備えていることが好ましい。

上述の発明において，前記マーカーは，その外形が外枠によって形成されており，前記外枠の内側の前記マーカー識別情報および／または前記コード化マーカー識別情報以外の領域には空間がある，画像情報合成システムのように構成することができる。

マーカーを設置した部分の撮影対象物はマーカーによって隠れてしまう。そのため，画像合成した画像情報を用いた処理では支障が生じる可能性がある。そこでマーカーは極力，小面積とすることが好ましい。そこで本発明のように構成するとよい。

上述の発明において，前記画像情報には，撮影範囲が隣接する画像情報同士で少なくとも一以上の同一のマーカーが写っている，画像情報合成システムのように構成することができる。

本発明のように，隣接する画像情報同士で少なくとも同一のマーカーが一つ以上写っていれば，それを基準として，画像情報を合成することが可能となる。

上述の発明において，前記マーカーは，撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置に設置される，画像情報合成システムのように構成することができる。

上述の発明において，前記マーカーを前記撮影対象物に複数段で設置する場合には，前記撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，撮影対象物の領域内のみを撮影する画像情報には四つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置に設置される，画像情報合成システムのように構成することができる。

マーカーを適切に設置しないと無駄な枚数の画像情報を撮影する必要が生じたり，本発明の処理を実行できない可能性がある。そして画像情報の枚数を少なくするためには，撮影範囲が極力重畳しないようにする，すなわち「田」型に撮影範囲を設定することが求められる。このように撮影範囲を設定した場合，撮影範囲に写るマーカーの位置はこれらの発明のようになる。そこで，これらの発明のようにマーカーを設置することで，最低限の枚数で必要な処理を実行することを可能とせしめる。

上述の発明において，前記撮影対象物がコンクリート構造物またはアスファルト舗装である，画像情報合成システムのように構成することができる。

コンクリート構造物やアスファルト舗装は，特徴となるものがなく，そのまま撮影をしたのでは，正確な処理が実行できない。そこで本発明のシステムはこれらのような撮影対象物に用いると効果を特に発揮する。

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで，実現することができる。すなわち，コンピュータを，撮影対象物に設置されたマーカーが少なくとも一以上写っている画像情報から，前記マーカーを識別するマーカー識別情報を認識するマーカー識別情報認識処理部，前記認識したマーカー識別情報が同一の画像情報について，それぞれの画像情報におけるマーカーが同一の位置に重なるように画像の合成処理を実行する画像情報合成処理部，として機能させる画像情報合成プログラムのように構成することができる。

コンクリート構造物やアスファルト舗装などの特徴のない撮影対象物を複数の画像情報で撮影する場合には，特徴となるマーカーをどのように設置するかが重要である。すなわち，コンクリート構造物またはアスファルト舗装を撮影対象物として複数の画像情報で撮影する場合の撮影対象物へのマーカーの設置方法であって，撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置を，マーカーの設置位置として位置決めをする工程と，前記位置決めした位置において，前記マーカーを水平かつ垂直に取り付ける工程と，を備える撮影対象物へのマーカーの設置方法とすることで，最低限の撮影枚数で必要な処理の実行を可能とせしめる。

コンクリート構造物やアスファルト舗装などの特徴のない撮影対象物を複数の画像情報で撮影する場合には，特徴となるマーカーをどのように複数段に亘って設置するかが重要である。すなわち，コンクリート構造物またはアスファルト舗装を撮影対象物として複数の画像情報で撮影する場合の撮影対象物への複数段のマーカーの設置方法であって，撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，撮影対象物の領域内のみを撮影する画像情報には四つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置を，マーカーの設置位置として位置決めする工程と，前記位置決めした位置において，前記マーカーを水平かつ垂直に取り付ける工程と，を備える撮影対象物へのマーカーの設置方法とすることで，最低限の撮影枚数で必要な処理の実行を可能とせしめる。

本発明の画像情報合成システムを用いることによって，たとえば壁面などの特徴のない撮影対象物であっても，適切に一つの画像情報として合成することができる。

本発明の画像情報合成システムのシステム構成の一例を模式的に示す概念図である。 本発明の画像情報合成システムで用いるコンピュータのハードウェア構成の一例を模式的に示す概念図である。 本発明の画像情報合成システムの処理プロセスの一例を模式的に示すフローチャートである。 マーカーの一例を模式的に示す図である。 マーカー識別情報とコード化マーカー識別情報との対応関係を示す図である。 撮影対象物となる壁面の一例を模式的に示す図である。 撮影対象物にマーカーを一段で設置する場合の一例を模式的に示す図である。 図７の場合における撮影範囲の一例を示す図である。 撮影対象物にマーカーを二段で設置する場合の一例を模式的に示す図である。 図９の場合における撮影範囲の一例を示す図である。 台形補正処理の概念を模式的に示す図である。 画像合成処理の概念の一例を模式的に示す図である。 撮影対象物に対する各画像情報を一つの画像情報に合成した場合の一例を模式的に示す図である。 合成した画像情報を出力し，壁面のひび割れのトレース作業を行った場合の一例を模式的に示す図である。

本発明の画像情報合成システム１のシステム構成の一例を図１に，画像情報合成システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。

画像情報合成システム１におけるサーバや端末はコンピュータによって実現される。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報の通信をする通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には入力装置７３と表示装置７２とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえば現場の担当者が利用するタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

なお，タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

管理端末２は一台のコンピュータによって実現されていてもよいが，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

さらに，本発明の画像情報合成システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

撮影者端末３は，工事現場の壁面１００などの撮影対象物を撮影する撮影者が利用するコンピュータであって，撮影者が撮影した画像情報を管理端末２に送る。

管理端末２は，撮影者端末３から受け付けた画像情報に基づいて各種処理を実行するコンピュータである。管理端末２は，画像情報受付処理部２１と画像情報記憶部２２と正置化処理部２３とマーカー識別情報認識処理部２４と画像情報合成処理部２５と出力処理部２６とを有する。

画像情報受付処理部２１は，撮影対象物を撮影した画像情報を撮影者端末３から受け付ける。詳細は後述するが，撮影対象物を撮影した画像情報には，撮影対象物に取り付けられたマーカー２００が写っており，後述する処理はかかる画像情報内のマーカー２００を用いて処理を実行する。マーカー２００とは撮影対象物に設置された識別標識であり，その外形は，好ましくは，正方形や長方形などの四角形である。マーカー２００の一例を図４に示す。

図４のマーカー２００は正方形または長方形の外枠２０１と，マーカー２００の外枠２０１またはその内側に，マーカー２００の四隅の各頂点を特定しやすくする頂点領域２０２と，人間が認識可能に表示されたマーカー識別情報２０３と，マーカー識別情報２０３をコード化したコード化マーカー識別情報２０４を表示するコード化マーカー識別情報２０４の表示領域と，水平器２０５とを備えている。

マーカー識別情報２０３は，マーカー２００を識別するための情報であり，好ましくは数字が用いられるが，数字以外の文字，記号等であってもよい。頂点領域２０２には，撮影者によって撮影された画像情報からマーカー２００の表示領域を特定するため，マーカー２００のほかの箇所の色および撮影対象物で用いられている色とは異なる色が付されていることが好ましい。撮影対象物がコンクリートの壁面１００の場合，頂点領域２０２には，たとえば赤色が付されているとよい。上方の外枠２０１には，マーカー２００が水平に設置されているかを示すための水平器２０５（水準器）が取り付けられている。図４のマーカー２００では，水平器２０５はマーカー２００の上方に設置されているが，下方に設置されていてもよい。マーカー２００の外枠２０１の内側の所定位置，たとえば左上の領域には，コード化マーカー識別情報２０４の表示領域を備えている。コード化マーカー識別情報２０４の表示領域は，マーカー識別情報２０３をコード化（マーク化）したコード化マーカー識別情報２０４の表示領域であって，マーカー識別情報２０３とコード化マーカー識別情報２０４とは対応付けられている。図４のコード化マーカー識別情報２０４は，マーカー識別情報２０３「０１」と対応している。図５にコード化マーカー識別情報２０４とマーカー識別情報２０３との対応関係の一例を示す。図５のコード化マーカー識別情報２０４では，マーカー識別情報２０３として「００」から「１５」までを表現するため，内部領域を４つの領域に細分化し，さらに各領域を「白」または「黒」で塗りつぶしている。「１６」以上を表現する場合には，内部領域を９，１６のように細分化すればよい。

マーカー２００の素材には限定がないが，たとえば金属製，木製，紙製，プラスチック製などの外枠２０１を用いることができる。また，マーカー２００が設置された部分の撮影対象物は隠れてしまう。マーカー２００によって隠蔽される部分は極力，小面積とすることが好ましいため，外枠２０１のみによって形状が形成されると好ましく，外枠２０１の内側はマーカー識別情報２０３やコード化マーカー識別情報２０４以外の領域には空間が形成されているとよいが，正方形や長方形のような四角形（矩形）によって形状が形成されていてもよい。さらにマーカー２００の背面（壁面１００と接する面）には，撮影対象物に取り付けるための糊やテープなどが取り付けられているとよい。

マーカー２００の一辺が短いと，後述する水平・垂直の判定（回転処理）や台形補正処理の際の精度が悪化するため，たとえばマーカー２００の外枠２０１の幅は１ｃｍとし，マーカー２００の外形は，縦２０ｃｍ，横２０ｃｍの正方形とすることができる。また処理精度の問題から，好ましくは，マーカー２００のサイズが画面サイズの１／５程度，すなわち，１ｍ角程度の画像を撮影するため，２０ｃｍ角のマーカー２００を用いることができる。さらに，撮影時の光反射の防止のため，全体がツヤ消しがされた白色塗料が塗布されているとよい。さらに頂点領域２０２はたとえば，縦１ｃｍ，横１ｃｍの赤色の正方形で形成されている。そして，コード化マーカー識別情報２０４は，たとえば縦４ｃｍ，横４ｃｍである。なお，マーカー２００の構成は図４，図５に限定されるものではない。

画像情報記憶部２２は，画像情報受付処理部２１で受け付けた画像情報を記憶する。画像情報記憶部２２では一つの撮影対象物に対して複数の画像情報があるため，それらを関連づけて記憶しているとよい。

正置化処理部２３は，画像情報受付処理部２１で受け付けた画像情報に対して，正置化処理を実行する。正置化処理としては，たとえばレンズ歪みがある場合の歪み補正処理，台形補正処理，画像情報の水平，垂直化をするための回転処理，画像情報の倍率の変更処理がある。

マーカー識別情報認識処理部２４は，正置化処理部２３で正置化処理を実行した正置化画像情報に写っているマーカー２００の表示領域を認識し，マーカー２００に対応するマーカー識別情報２０３を認識する。

画像情報合成処理部２５は，正置化画像情報のうち，同一のマーカー識別情報２０３を含む画像情報を特定し，特定した正置化画像情報について，それぞれの画像情報におけるマーカー２００が同一の位置に重なるように合成する処理を実行する。これを全ての正置化画像情報に対して行う。

なお画像合成処理部２５における画像情報の合成処理としては，たとえばそれぞれの画像情報におけるマーカー２００が同一の位置に重なるように描画をする（上書きをする）方法のほか，重ねる画像情報の境界の周辺部分をぼかす処理をした上で，マーカー２００が同一の位置に重なるように描画をする方法，それぞれの画像情報の重なる部分について，いずれかの画像情報を切り抜いた上で（削除した上で），画像情報を接続する方法などがあるが，いかなる合成処理の方法を用いてもよい。また上記で説明した３つの方法に限定するものではない。本明細書においては，それぞれの画像情報におけるマーカー２００が同一の位置に重なるように描画をする方法を用いる場合で説明をする。

出力処理部２６は，画像情報合成処理部２５で，複数の正置化画像情報を一つの画像情報に合成した画像情報を出力する。

つぎに本発明の画像情報合成システム１の処理プロセスの一例を図３のフローチャートを用いて説明する。

まず本発明の画像情報合成システム１での処理の前に，撮影対象物に対して所定のマーカー２００を取り付けるプロセスを示す。図６に撮影対象物の一例として，壁面１００の場合を説明する。撮影対象物としては，マーカー２００が取り付けられる物であれば限定はないが，マーカーを設置する撮影対象物の面は平面である。そして，コンクリート構造物やアスファルト舗装などの場合にはその効果が特に発揮できる。

まず担当者は，撮影対象物となる壁面１００にマーカー２００を取り付ける（Ｓ１００）。この際に，担当者は，マーカー２００の水平器２０５を視認しながら，マーカー２００が地面に対して水平，壁面１００に対して垂直を保つように壁面１００に設置する。各マーカー２００は，撮影者が撮影対象物となる壁面１００を撮影する際に，撮影画像中に少なくとも一つは写りこむような上下，左右の位置関係で設置をする。とくに撮影対象物の四隅を撮影する画像情報には少なくとも一つのマーカー２００が，それ以外を撮影する画像情報には少なくとも二つ以上のマーカー２００が写り込むように設置をする。

撮影対象物にマーカー２００を一段で設置する場合の一例を図７に示す。これは撮影対象物が縦方向にあまり大きくない場合に用いることができる。この場合，撮影対象者は，たとえば図８に示すように撮影範囲を設定しながら撮影をする。すなわち，四隅には少なくとも一つのマーカー２００が，それ以外の部分では少なくとも二つ以上のマーカー２００が写り込む撮影範囲で撮影対象物を撮影する。図８中の破線領域３００ａ乃至３００ｈがそれぞれの撮影範囲であり，四隅の撮影範囲である破線領域３００ａ，３００ｄ，３００ｅ，３００ｈには一つのマーカー２００が，それ以外の撮影範囲である破線領域３００ｂ，３００ｃ，３００ｆ，３００ｇには二つのマーカー２００が写っている。

撮影対象物にマーカー２００を複数段設置してもよい。撮影対象物にマーカー２００を二段で設置する場合の一例を図９に示す。マーカー２００を複数段設置する場合は撮影対象物が縦方向に大きい場合に用いることができる。この場合，撮影対象者は，たとえば図１０に示すように撮影範囲を設定しながら撮影をする。すなわち，四隅には少なくとも一つのマーカー２００が，撮影対象物の中心付近（撮影対象物の領域内のみが撮影範囲）には四つのマーカー２００が，それ以外の部分では少なくとも二つ以上のマーカー２００が写り込む撮影範囲で撮影対象物を撮影する。図１０中の破線領域３００ａ乃至３００ｌがそれぞれの撮影範囲であり，四隅の撮影範囲である破線領域３００ａ，３００ｄ，３００ｉ，３００ｌには一つのマーカー２００が，撮影対象物の中心付近の撮影範囲である破線領域３００ｆ，３００ｇには四つのマーカー２００が，それ以外の撮影範囲である破線領域３００ｂ，３００ｃ，３００ｅ，３００ｈ，３００ｊ，３００ｋには二つのマーカー２００が写っている。

以上のように撮影対象物にマーカー２００を設置すると，上述の図８または図１０のように撮影者が撮影を行う（Ｓ１１０）。図８の場合には８枚の画像情報が，図１０の場合には１２枚の画像情報がそれぞれ撮影される。撮影対象物の撮影順序は問われず，撮影対象物の形状も問われない。また，撮影者は撮影時に正対して撮影をする必要性はない。なお，撮影対象物を撮影する際の撮影距離は好ましくは５０ｃｍ〜２ｍ程度であるが，それに限定するものではない。

撮影者は，撮影者端末３で所定の操作を行うことによって，Ｓ１１０で撮影した画像情報を管理端末２に送る。この際に，各画像情報を識別する識別情報，同一の撮影対象物を撮影した画像情報であることを示す情報（たとえば撮影対象物の識別情報），日時情報などが付随情報としてあわせて送られるとよい。なお，撮影対象物を撮影した撮像装置のレンズ特性の特定のため，撮像装置の種類やレンズの種類を示す情報などを付随情報に含めてもよい。

そして撮影者端末３から送られた各画像情報やそれらに付随する情報は，管理端末２の画像情報受付処理部２１で受け付け，画像情報記憶部２２にそれぞれ対応付けて記憶させる（Ｓ１２０）。

以上のようにして管理端末２が撮影対象物を撮影した複数の画像情報を取得すると，所定のタイミング，たとえば管理端末２の操作者が操作を行うタイミング，あるいは画像情報を取得してから所定時間経過後などのタイミングで，正置化処理部２３が当該撮影対象物を撮影した各画像情報の付随情報を用いて，画像情報記憶部２２に記憶する各画像情報を抽出し，正置化処理を実行する（Ｓ１３０）。

まず正置化処理部２３は，撮影対象物を撮影した撮像装置のレンズ特性の情報に基づいて，抽出した各画像情報についてレンズ歪みの補正処理を実行する。すなわち，撮影したままの画像情報には，樽型収差，糸巻き型収差，ビネット，色収差などが発生するが，それをレンズ特性の情報に基づいて補正処理を実行する。レンズ歪みの補正処理は公知の方法を用いて行うことができる。

各画像情報にレンズ歪みの補正処理を実行後，正置化処理部２３は，各画像情報について，台形補正処理を実行する。撮影者は撮影対象物を必ずしも正対で撮影しているものではなく，斜め方向から撮影している場合もある。そのため正対で撮影した状態に変換する必要がある。台形補正処理の概念を図１１のように示す。図１１（ａ）は台形補正処理を実行する前の画像情報であり，図１１（ｂ）は台形補正処理を実行した後の画像情報である。

まず，画像情報においてマーカー２００の４頂点の位置を検出する。この際に，あらかじめ定められた色の４点を特定し，その４点によって構成される閉領域（４点を直線で結んで構成される閉領域）をマーカー２００の表示領域として認識する。そして，認識した４点で構成される閉領域が正方形となるように，画像情報の各画素に対して（画像情報の全体に対して）アフィン変換処理を行う。このように，台形補正処理で基準となるマーカー２００の４点を画像情報から適切に検出するため，マーカー２００の４頂点には，撮影対象物の色とは異なる色を用いることが好ましい。

以上のような処理を実行することで台形補正処理が行える。

正置化処理部２３は，台形補正処理を実行することで，各画像情報が正対位置から撮影した画像情報にできるので，すでに正方形に変形された４頂点の位置からマーカー２００の方向を求めることで，マーカー２００が水平，垂直になるように画像情報を回転させる回転角を算出し，画像情報の回転処理を実行する。そして，４点によって構成される正方形の各辺の距離を算出し，それがあらかじめ定められている倍率，たとえば１０ｃｍが１００ピクセルとなる倍率，となるように画像情報を拡大または縮小する。

なお，回転処理，拡大／縮小処理については，一つの画像情報に複数のマーカー２００がある場合，その画像情報に写っているそれぞれのマーカー２００から求めた回転角，拡大／縮小の倍率の値の平均値を用いることで，その画像情報の回転角，拡大／縮小倍率の値としてもよい。これによって回転処理，拡大／縮小処理の精度を向上させることができる。

以上のような正置化処理を正置化処理部２３が実行することで，撮影者が撮影した撮影対象物の各画像情報について正置化処理を実行した画像情報（正置化画像情報）に変換することができる。なお，正置化処理については，上述の全ての処理を行うことが好ましいが，レンズ歪み補正処理，台形補正処理，回転処理，拡大／縮小処理のいずれか一以上を省略してもよい。また，撮影対象物を正対した状態で同一倍率（同じ距離）で撮影しているのならば，正置化処理そのものを省略することもできる。

正置化処理の終了後，マーカー識別情報認識処理部２４は，正置化画像情報に写っているマーカー２００の表示領域（マーカー２００の４頂点によって構成される閉領域）におけるコード化マーカー識別情報２０４の表示領域を認識し，それに基づいて，マーカー識別情報２０３を認識する（Ｓ１４０）。認識したコード化マーカー識別情報２０４の表示領域に表示されるコード化マーカー識別情報２０４からマーカー識別情報２０３への変換処理は，あらかじめ定められたマーカー識別情報２０３とコード化マーカー識別情報２０４との対応関係（図５）などを参照することで行える。なお，コード化マーカー識別情報２０４の表示領域を用いずとも，たとえば正置化画像情報でマーカー２００の表示領域に対してＯＣＲ認識などを行うことで，マーカー２００の表示領域に表示されているマーカー識別情報２０３の認識処理を行ってもよい。

マーカー識別情報認識処理部２４において撮影対象物に対するすべての正置化画像情報のマーカー識別情報２０３の認識処理を実行すると，画像情報合成処理部２５は，同一のマーカー識別情報２０３を有する画像情報同士の合成処理を実行する（Ｓ１５０）。画像合成処理の概念の一例を図１２に示す。画像情報合成処理部２５は，撮影対象物に対する正置化画像情報の中から，同一のマーカー識別情報２０３を含む正置化画像情報を特定する。そして同一のマーカー識別情報２０３を含む正置化画像情報について，それぞれの画像情報におけるマーカー２００が同一の位置に重なるように合成処理を実行する。これをすべての正置化画像情報について行うことで（Ｓ１６０），撮影対象物について一つの画像情報に合成できる。一つの画像情報に合成した状態の一例を図１３に示す。図１３では各正置化画像情報の撮影範囲を実線で，撮影対象物を破線で示している。

以上のようにして画像情報合成処理部２５が撮影対象物を一つの画像情報に合成すると，それを所定の記憶装置７１に記憶し，また操作者からの所望の操作要求にしたがって，出力処理部２６が合成した画像情報の出力処理を行う（Ｓ１６０）。

たとえば撮影対象物である壁面１００のひび割れのトレースを行いたい場合，操作者が管理端末２に対して所定の操作を行うことで，図１４に示す合成した画像情報を出力処理部２６が出力し，その表示装置７２などに表示させる。そして，表示された画像情報に写っている壁面１００のひび割れをマウスやタブレットなどの入力装置７３を用いてなぞることでスケッチを行う。そして下地となる壁面１００の画像情報とともに，あるいはスケッチのみを損傷図面の画像情報として記憶し，印刷等の出力処理を実行する。

以上のような処理を実行することで，壁面１００などのように特徴のない撮影対象物を複数の画像情報で撮影した場合であっても，自動的に一つの画像情報に合成することが可能となる。なお，壁面１００のように垂直に立っている撮影対象物のほか，路面などのような水平に位置する撮影対象物であっても，マーカー２００を設置すれば，同様に処理が行える。さらに，マーカー２００が設置可能であれば，如何なる撮影対象物であってもよい。

本発明の画像情報合成システム１を用いることによって，たとえば壁面１００などの特徴のない撮影対象物であっても，適切に一つの画像情報として合成することができる。

１：画像情報合成システム
２：管理端末
３：撮影者端末
２１：画像情報受付処理部
２２：画像情報記憶部
２３：正置化処理部
２４：マーカー識別情報認識処理部
２５：画像情報合成処理部
２６：出力処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
１００：壁面
２００：マーカー
２０１：外枠
２０２：頂点領域
２０３：マーカー識別情報
２０４：コード化マーカー識別情報
２０５：水平器

Claims (13)

1. 撮影対象物を撮影した複数の画像情報を一つの画像情報に合成する画像情報合成システムであって，
   前記画像情報合成システムは，
   撮影対象物に設置されたマーカーが少なくとも一以上写っている画像情報から，前記マーカーを識別するマーカー識別情報を認識するマーカー識別情報認識処理部と，
   前記認識したマーカー識別情報が同一の画像情報について，それぞれの画像情報におけるマーカーが同一の位置に重なるように画像情報の合成処理を実行する画像情報合成処理部と，
   を備えることを特徴とする画像情報合成システム。
2. 前記画像情報合成システムは，さらに，
   前記マーカー識別情報の認識処理の前に，前記画像情報について，前記撮影対象物を正対した状態で同一倍率で撮影した状態に補正する正置化処理を実行する正置化処理部，
   を備えることを特徴とする請求項１に記載の画像情報合成システム。
3. 前記正置化処理部は，
   前記画像情報に写っているマーカーの複数の特徴点の位置を検出して各特徴点で構成される閉領域をマーカーの表示領域とし，
   前記マーカーの表示領域が所定の矩形領域となるように，前記画像情報に対して台形補正処理を実行し，
   前記マーカーの表示領域が水平，垂直となるように前記画像情報を回転する回転処理を実行し，
   前記マーカーの表示領域があらかじめ定められた倍率になるように前記画像情報の拡大または縮小する処理を実行する，
   ことを特徴とする請求項１または請求項２に記載の画像情報合成システム。
4. 前記マーカーは，
   外形が正方形または長方形であって，その頂点が前記特徴点として撮影対象物とは異なる色で着色されており，
   前記マーカーを識別するためのマーカー識別情報および／またはそのマーカー識別情報をコード化したコード化マーカー識別情報を，
   備えていることを特徴とする請求項１から請求項３のいずれかに記載の画像情報合成システム。
5. 前記マーカーは，水平器を備えている，
   ことを特徴とする請求項４に記載の画像情報合成システム。
6. 前記マーカーは，
   その外形が外枠によって形成されており，
   前記外枠の内側の前記マーカー識別情報および／または前記コード化マーカー識別情報以外の領域には空間がある，
   ことを特徴とする請求項４または請求項５に記載の画像情報合成システム。
7. 前記画像情報には，
   撮影範囲が隣接する画像情報同士で少なくとも一以上の同一のマーカーが写っている，
   ことを特徴とする請求項１から請求項６のいずれかに記載の画像情報合成システム。
8. 前記マーカーは，
   撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置に設置される，
   ことを特徴とする請求項１から請求項６のいずれかに記載の画像情報合成システム。
9. 前記マーカーを前記撮影対象物に複数段で設置する場合には，
   前記撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，撮影対象物の領域内のみを撮影する画像情報には四つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置に設置される，
   ことを特徴とする請求項１から請求項６のいずれかに記載の画像情報合成システム。
10. 前記撮影対象物がコンクリート構造物またはアスファルト舗装である，
    ことを特徴とする請求項１から請求項７のいずれかに記載の画像情報合成システム。
11. コンピュータを，
    撮影対象物に設置されたマーカーが少なくとも一以上写っている画像情報から，前記マーカーを識別するマーカー識別情報を認識するマーカー識別情報認識処理部，
    前記認識したマーカー識別情報が同一の画像情報について，それぞれの画像情報におけるマーカーが同一の位置に重なるように画像の合成処理を実行する画像情報合成処理部，
    として機能させることを特徴とする画像情報合成プログラム。
12. コンクリート構造物またはアスファルト舗装を撮影対象物として複数の画像情報で撮影する場合の撮影対象物へのマーカーの設置方法であって，
    撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置を，マーカーの設置位置として位置決めをする工程と，
    前記位置決めした位置において，前記マーカーを水平かつ垂直に取り付ける工程と，
    を備える撮影対象物へのマーカーの設置方法。
13. コンクリート構造物またはアスファルト舗装を撮影対象物として複数の画像情報で撮影する場合の撮影対象物への複数段のマーカーの設置方法であって，
    撮影対象物の端部を撮影する画像情報に少なくとも一つのマーカーが，撮影対象物の領域内のみを撮影する画像情報には四つのマーカーが，それ以外の部分を撮影する画像情報には少なくとも二つ以上のマーカーが写り込む位置を，マーカーの設置位置として位置決めする工程と，
    前記位置決めした位置において，前記マーカーを水平かつ垂直に取り付ける工程と，
    を備える撮影対象物へのマーカーの設置方法。

Images