JP2016099235A - 正置画像処理システムおよび構造物維持管理業務システム - Google Patents

正置画像処理システムおよび構造物維持管理業務システム Download PDF

Info

Publication number
JP2016099235A
JP2016099235A JP2014236514A JP2014236514A JP2016099235A JP 2016099235 A JP2016099235 A JP 2016099235A JP 2014236514 A JP2014236514 A JP 2014236514A JP 2014236514 A JP2014236514 A JP 2014236514A JP 2016099235 A JP2016099235 A JP 2016099235A
Authority
JP
Japan
Prior art keywords
image information
processing unit
place
rectangle
corners
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014236514A
Other languages
English (en)
Other versions
JP6467612B2 (ja
Inventor
利文 村田
Toshifumi Murata
利文 村田
信義 武藤
Nobuyoshi Muto
信義 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Social Capital Design Co Ltd
Original Assignee
Social Capital Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Social Capital Design Co Ltd filed Critical Social Capital Design Co Ltd
Priority to JP2014236514A priority Critical patent/JP6467612B2/ja
Publication of JP2016099235A publication Critical patent/JP2016099235A/ja
Application granted granted Critical
Publication of JP6467612B2 publication Critical patent/JP6467612B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】歪んだ画像情報を正置画像情報に変形させる正置画像処理システムおよびそのシステムを備えた構造物維持管理業務システムを提供することを目的とする。【解決手段】構造物のひび割れ箇所の長さを算出する構造物維持管理業務システムであって,構造物を撮影した画像情報の入力を受け付ける撮影画像情報入力受付処理部と,入力を受け付けた画像情報を正置画像情報に変換する正置画像情報生成処理部と,生成した正置画像情報におけるひび割れ箇所の長さを検出し,画像情報の縮尺に基づいて乗算することで実際のひび割れ箇所の長さを算出する長さ算出処理部と,を有する構造物維持管理業務システムである。【選択図】 図1

Description

本発明は,パノラマ撮影,斜めからの撮影などで歪んだ画像情報を,正面から十分な距離をおいて撮影したかのような画像情報(以下,「正置画像情報」という)に変形させる正置画像処理システムおよびそのシステムを備えた構造物維持管理業務システムに関する。
コンクリート構造物などの構造物の維持管理業務では,壁面に生じたひび割れ箇所を補修するにあたり,補修費の見積もり算出のため,事前に補修対象となるひび割れ箇所の長さの総延長を算出することが必要となる。
そのため,従来ではひび割れ箇所の検出のため,下記特許文献1,特許文献2に示す装置を用い,ひび割れ箇所を検出した上でひび割れの長さを算出している。また,別の方法としては,現場で補修すべきひび割れ箇所を決め,当該箇所にチョークで印を付け,それを元に図面上にスケッチを行い,スケッチと撮影した写真を持ち帰ってCAD上で作図を行い,CADの機能を利用して長さの総延長を計測するという方法も行われている。
特開2002−310920号公報 特開2014−6222号公報
特許文献1,特許文献2の装置を用いたとしても,ひび割れ箇所を自動的に検出するのみで,長さの総延長を算出することはできず,長さの総延長の算出のためには別の処理システムを用いなければならない。また,CADの機能を用いる方法の場合でも,スケッチやCAD上での作図などの作業を行わなければならず,作業の負担が大きい問題点がある。
そこで,以下の処理方法が考えられる。まず,コンクリートなどの構造物におけるひび割れ箇所に,チョークなどでマーキングした上でその構造物を撮影する。そして撮影した画像情報をコンピュータに読み込み,マーキングしたひび割れ箇所を抽出して,マーキング部分の画像上の長さの総延長を算出する。そして,算出した画像上の長さを,撮影した画像情報の縮尺に基づいて,実際の長さに換算することで,その撮影画像に写っている範囲の実際のひび割れ箇所の長さを算出する。最後に,各撮影画像に写っている範囲の実際のひび割れ箇所の長さを合計し,補修対象となるひび割れ箇所の長さの総延長を算出して推定する,という処理方法である。
しかしこの方法の場合,ひび割れ箇所を正面から撮影しなければならない。そのため,ひび割れ箇所のすべてについて,正面から撮影する作業を行う必要があるが,ひび割れ箇所が多いと,撮影作業が多くなり作業負担が重くなる。
現在,多くの携帯電話,PHS,タブレット型コンピュータなどの可搬型通信端末に搭載されている撮像装置では,パノラマ撮影(パノラマ撮影とは,カメラの向いている方向を撮影者が左から右に,下から上になど,連続的に変化させながら撮影し,その間にカメラが内部的に連写して,写真群の中から中央部分のみを切り出して左右または上下がつながるように画像合成して生成する広角の撮影方法をいう)を行うことができる。そこで撮影対象物を複数の写真で撮影してそれらを合成して全体画像を得るよりも,撮影対象となる構造物をパノラマ撮影すれば,構造物の全体を撮影することができ,撮影作業の負担軽減を図ることができる。
しかし,パノラマ撮影では,撮影対象が歪んだ形状で記録されるので,パノラマ撮影した画像情報(以下,「パノラマ画像情報」)に基づいて,そのままマーキング部分を抽出して画像上の長さを算出してしまうと,実際のマーキング部分の長さと大きく異なった結果となってしまう問題点がある。そのため,パノラマ画像情報を,撮影対象物を正面から撮影した正置画像情報に変換した上で,マーキング部分を抽出する処理を実行しなければならない。しかし,パノラマ画像情報を正置画像情報に変換する処理は,現在のところ,知られていないため,パノラマ画像情報を用いることはできない。
また,構造物が橋梁であって,その床版の下にあるひび割れなどの損傷を撮影する場合には,橋梁の床版の真下まで移動し,上向きに床版下部にある損傷を撮影することが,従来行われていた。しかし,低い橋桁の場合など,撮影対象との距離が十分とれない場合には,橋梁の床版の全体を1枚の写真で写すことができない。また,高精度を求めるなどの理由から撮像装置を動かして撮影するパノラマ撮影ではなく,静止画で撮影したいとの要望がある。
撮影対象となる橋梁の床版下部は全体が一つの長方形または略長方形(以下,まとめて「長方形」という)であって,型枠や部材の切れ目,あるいは桁などによって,さらに複数の長方形(以下,「床版部材」という)に区切られていることが通例である。図27に橋梁の床版下部の一例を示す。図27(a)が床版下部の桁が外部から見えず,床版部材の型枠や部材の切れ目によって全体が長方形に区切られているタイプを示すものである。図27(b)は床版下部の桁が外部に露出しており,それによって全体が床版部材の長方形に区切られているタイプを示すものである。
この場合,橋梁の床版下部にある一つ一つの区切られた床版部材の真下に移動して撮影をし,撮影した各床版部材の長方形の画像情報を一つの画像情報に組み合わせることで,床版下部の全体の画像情報を構成することができる(図28)。
しかし,その場合には,床版下部の区切りとなる一つ一つの床版部材の長方形の真下まで移動をして撮影をするという行為を繰り返さなければならず,移動距離が長くなり,また撮影回数も多くなってしまい,撮影作業の負担も重い。図29(a)に従来の撮影者の移動距離を模式的に示す。
そこで,図29(b)に示すように,複数の床版部材をまとめて撮影できれば移動距離も減らせて作業負担の軽減が図れる。図29(c)は撮影した床版部材の画像情報とそれに基づいて床版全体の画像情報に合成することを示す図である。
しかし図29(b)のように撮影をした場合,床版のそれぞれの区切りとなる床版部材の長方形の真下から撮影していないので,区切りとなる床版部材の長方形を斜めから撮影している状態となってしまい,それをそのまま合成したのでは正確なひび割れの長さを算出することができない。そのため斜めに撮影した画像情報(以下,「斜め撮影画像情報」という)から歪んでいる四角形(撮影対象物上では長方形)を切り出し,それを正置画像情報に変換した上で,それぞれの長方形を合成することが求められる。これを模式的に示すのが図30である。
しかし斜め撮影画像情報から,そこに写っている歪んだ四角形を,もとの長方形(正置画像情報)になるように変換する処理も知られていない。したがって,かかる場合に,処理を行うことは従来は困難であった。
そこで,パノラマ画像情報や斜め撮影画像情報から,正置画像情報を生成する処理システムが求められている。また,生成した正置画像情報を用いて構造物の維持管理業務に用いることで,構造物のひび割れなどの維持管理業務を支援する処理システムが求められている。
本発明者は上記課題に鑑み,パノラマ撮影や斜めから撮影した画像情報から,正置画像情報を生成する正置画像処理システムおよびそれを用いた構造物維持管理業務システムを発明した。
第1の発明は,構造物のひび割れ箇所の長さを算出する構造物維持管理業務システムであって,前記構造物を撮影した画像情報の入力を受け付ける撮影画像情報入力受付処理部と,前記入力を受け付けた画像情報に基づいて正置画像情報を生成する正置画像情報生成処理部と,前記生成した正置画像情報におけるひび割れ箇所の長さを検出し,前記画像情報の縮尺に基づいて乗算することで実際のひび割れ箇所の長さを算出する長さ算出処理部と,を有する構造物維持管理業務システムである。
本発明のように構成することで,撮影した撮影画像情報に基づいて,実際のひび割れ箇所の長さを算出することができる。なお,実際のひび割れ箇所の長さと正確に一致はしないが,見積もり算出のためであれば1,2割程度の誤差は許容されるので,その範囲でひび割れ箇所の長さを算出できれば本発明の目的を達成できるので十分である。
上述の発明において,前記画像情報は,パノラマ撮影されたパノラマ画像情報であって,前記正置画像情報生成処理部は,前記パノラマ画像情報において2点の消失点を特定する消失点特定処理部と,前記特定した消失点に基づいて前記パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換することで正置画像情報を生成する座標変換処理部と,を有する,構造物維持管理業務システムのように構成することができる。
近年の撮像装置ではパノラマ撮影機能が搭載されていることが多い。パノラマ撮影ができれば,一度の撮影で広範囲を撮影できるので,撮影回数を減らすことができ,撮影負担を軽減できる。しかしパノラマ撮影では歪みが生じるのでひび割れ箇所の長さずれが大きくなってしまう。そこで,本発明のように構成することで,実際のひび割れ箇所の長さと許容範囲内の誤差内のひび割れ箇所の長さを算出することができる。
上述の発明において,前記画像情報は,複数の長方形または略長方形部分を有する構造物を撮影し,前記長方形または略長方形部分が四角形として写っている斜め撮影画像情報であって,前記正置画像情報生成処理部は,前記斜め撮影画像情報を表示する撮影画像情報表示処理部と,前記斜め撮影画像情報に写っている四角形を,正置画像情報である長方形または略長方形に変形処理する長方形特定処理部と,を有しており,前記長方形特定処理部は,前記表示した斜め撮影画像情報に写っている四角形の角4点の指定の入力を受け付け,前記指定を受け付けた4点を角とする四角形を底面とする四角錐を生成し,前記四角形の辺の長さの比率に基づいて,前記四角錐の頂点と各角との距離の比率を算出し,前記算出した比率に基づいて,前記長方形または略長方形の4つの角の位置の初期値を決定し,前記4つの角の角度が直角または略直角になるまで4つの角の位置を変化させ,前記4つの角の角度が直角または略直角になった4つの角の位置に基づいて,斜め撮影画像情報に写っている四角形の各画素の座標情報を,前記4つの角で構成される長方形または略長方形の座標情報に変換することで,正置画像情報を生成する,構造物維持管理業務システムのように構成することができる。
橋梁の床版下部などのひび割れ箇所の長さを算出するには,複数の床版部材の写真を組み合わせることで床版下部全体のひび割れ箇所の長さを算出する方法が採られる。その場合,撮影回数を減らすため,複数の床版部材の長方形または略長方形部分を含む範囲の撮影が行われることがある。そうすると,床版部材の長方形または略長方形が歪んでしまい,ひび割れ箇所の長さのずれが大きくなってしまう。そこで,本発明のように構成することで,実際のひび割れ箇所の長さと許容範囲内の誤差内のひび割れ箇所の長さを算出することができる。
第2の発明は,パノラマ画像情報を変形する正置画像情報処理システムであって,処理対象となるパノラマ画像情報において2点の消失点を特定する消失点特定処理部と,前記特定した消失点に基づいて前記パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換することで正置画像情報を生成する座標変換処理部と,を有する正置画像情報処理システムである。
本発明のように構成することで,パノラマ撮影したパノラマ画像情報から正置画像情報を生成することができる。これによって,従来は,縦長または横長などの撮影対象を撮影する場合,複数の写真を撮影し,それを組み合わせることで全体の画像情報を得ていたが,一回,パノラマ撮影を行えば,撮影対象を正面から撮影した全体の画像情報を得ることができる。
上述の発明において,前記消失点特定処理部は,前記特定した消失点のy座標が所定以上相違する場合には,前記パノラマ画像情報の中心点を中心にして,各消失点のy座標が一致または略一致するまで回転させる,正置画像情報処理システムのように構成することができる。
消失点の特定はずれが発生する場合もある。そのため,それを揃えた上で処理をすることが好ましい。
上述の発明において,前記正置画像情報処理システムは,前記特定した消失点を基点としてグリッド線を前記パノラマ画像情報に重畳表示させるグリッド線表示処理部,を有する正置画像情報処理システムのように構成することができる。
グリッド線はパノラマ撮影が水平線からどれだけずれているか,またパノラマ画像情報ないの実際の消失点の位置がコンピュータが算出した消失点とどれだけずれているかを示す目安となる。そこで,グリッド線を重畳表示させることで,消失点の特定の適切性などを判断できるとともに,もしずれている場合に,それを調整することができる。
上述の発明において,前記正置画像情報処理システムは,前記座標変換処理部で生成した正置画像情報に,矩形からなるマトリックスを重畳表示させる変換確認表示処理部,を有する正置画像情報処理システムのように構成することができる。
マトリックスを正置画像情報に重畳表示させることで,正置画像情報の精度を確認することができる。
第3の発明は,長方形または略長方形が歪んで写っている斜め撮影画像情報を変形する正置画像情報処理システムであって,処理対象となる斜め撮影画像情報を表示する撮影画像情報表示処理部と,前記斜め撮影画像情報に写っている四角形を,正置画像情報である長方形または略長方形に変形処理する長方形特定処理部と,を有しており,前記長方形特定処理部は,前記表示した斜め撮影画像情報に写っている四角形の角4点の指定の入力を受け付け,前記指定を受け付けた4点を角とする四角形を底面とする四角錐を生成し,前記四角形の辺の長さの比率に基づいて,前記四角錐の頂点と各角との距離の比率を算出し,前記算出した比率に基づいて,前記長方形または略長方形の4つの角の位置の初期値を決定し,前記4つの角の角度が直角または略直角になるまで4つの角の位置を変化させ,前記4つの角の角度が直角または略直角になった4つの角の位置に基づいて,斜め撮影画像情報に写っている四角形の各画素の座標情報を,前記4つの角で構成される長方形または略長方形の座標情報に変換することで,正置画像情報を生成する,正置画像情報処理システムである。
本発明のように構成することで,床版部材の形状が長方形や略長方形が歪んだ四角形として映り込んでいたとしても,そこから床版部材の形状が長方形や略長方形に戻した正置画像情報を得ることができる。
上述の発明において,前記長方形特定処理部は,さらに,処理対象となる各斜め撮影画像情報から生成した正置画像情報の前後または左右方向に並んでいる各長方形の縦,横の長さの平均値を算出し,各正置画像情報の長方形をアフィン変換により再変形させる,正置画像情報処理システムのように構成することができる。
上述の発明を実施する場合には斜め撮影画像情報に写っている四角形の4点を指定する必要があるが,その指定位置がずれてしまう可能性がある。そうなると複数の斜め撮影画像情報から長方形または略長方形部分の正置画像情報を生成して組み合わせる場合,縦,横の長さが変わってしまう可能性がある。そこで,本発明の処理を実行することで,縦,横の長さを揃えることが可能となる。
第1の発明は,本発明のプログラムをコンピュータに読み込ませることで実現できる。すなわち,コンピュータを,構造物を撮影した画像情報の入力を受け付ける撮影画像報入力受付処理部,前記入力を受け付けた画像情報に基づいて正置画像情報を生成する正置画像情報生成処理部,前記生成した正置画像情報におけるひび割れ箇所の長さを検出し,前記画像情報の縮尺に基づいて乗算することで実際のひび割れ箇所の長さを算出する長さ算出処理部,として機能させる構造物維持管理業務プログラムである。
第2の発明は,本発明のプログラムをコンピュータに読み込ませることで実現できる。すなわち,コンピュータを,処理対象となるパノラマ画像情報において2点の消失点を特定する消失点特定処理部,前記特定した消失点に基づいて前記パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換することで正置画像情報を生成する座標変換処理部,として機能させる正置画像情報処理プログラムである。
第3の発明は,本発明のプログラムをコンピュータに読み込ませることで実現できる。すなわち,コンピュータを,長方形または略長方形が歪んで写っている斜め撮影画像情報を表示する撮影画像情報表示処理部,前記斜め撮影画像情報に写っている四角形を,正置画像情報である長方形または略長方形に変形処理する長方形特定処理部,として機能させる正置画像情報処理プログラムであって,前記長方形特定処理部は,前記表示した斜め撮影画像情報に写っている四角形の角4点の指定の入力を受け付け,前記指定を受け付けた4点を角とする四角形を底面とする四角錐を生成し,前記四角形の辺の長さの比率に基づいて,前記四角錐の頂点と各角との距離の比率を算出し,前記算出した比率に基づいて,前記長方形または略長方形の4つの角の位置の初期値を決定し,前記4つの角の角度が直角または略直角になるまで4つの角の位置を変化させ,前記4つの角の角度が直角または略直角になった4つの角の位置に基づいて,斜め撮影画像情報に写っている四角形の各画素の座標情報を,前記4つの角で構成される長方形または略長方形の座標情報に変換することで,正置画像情報を生成する,正置画像情報処理プログラムである。
本発明の正置画像処理システムを用いることによって,パノラマ撮影や斜めから撮影した画像情報から,正置画像情報を生成することが可能となる。また,正置画像情報が生成可能となることで,構造物をパノラマ撮影や斜めから撮影したとしても,構造物におけるひび割れ箇所の長さの総延長の推定処理を行うことが可能となる。
本発明の構造物維持管理業務システムの全体の概念の一例を模式的に示す概念図である。 本発明の正置画像情報処理システムの全体の概念の一例を模式的に示す概念図である。 本発明の正置画像情報処理システムの別の例の概念の一例を模式的に示す概念図である。 コンピュータのハードウェア構成の一例を模式的に示す図である。 正置画像情報処理システムを用いて,構造物のひび割れの長さの総延長を算出する処理プロセスの一例を示すフローチャートである。 正置画像情報生成処理の一例を模式的に示すフローチャートである。 正置画像情報生成処理の別の一例を模式的に示すフローチャートである。 図7の処理における長方形特定処理の一例を模式的に示すフローチャートである。 ひび割れ箇所の入力を受け付ける場合の一例を模式的に示す図である。 正置画像情報における基準長の指定の入力と,当該箇所の実際の長さの指定の入力を受け付ける場合の一例を模式的に示す図である。 延長距離算出ボタンの一例を模式的に示す図である。 撮像装置でパノラマ撮影を行う場合の画面の一例を模式的に示す図である。 パノラマ撮影を行う方法の一例を模式的に示す図である。 パノラマ画像情報の一例を模式的に示す図である。 読み込んだパノラマ画像情報を表示した画面の一例を模式的に示す図である。 消失点特定処理を行う場合の画面の一例を模式的に示す図である。 パノラマ画像情報にグリッド線を重畳表示した画面の一例を模式的に示す図である。 パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換する処理を模式的に示す図である。 パノラマ画像情報に座標変換処理を行い生成した正置画像情報を表示した場合の画面の一例を模式的に示す図である。 正置画像情報に矩形のマトリックスを重畳表示した場合の画面の一例を模式的に示す図である。 撮影した斜め撮影画像情報の一例を模式的に示す図である。 斜め撮影画像情報に,四角形を構成する4点の指定の入力を受け付けた状態の斜め撮影画像情報の一例を模式的に示す図である。 正置画像情報と斜め撮影画像情報の関係を模式的に示す図である。 斜め撮影画像情報における四角形abcdの正置画像情報を求める処理を模式的に示す図である。 写真面上の四角形abcdの各辺の長さの比率と,カメラとの距離の比率の一例を模式的に示す図である。 斜め撮影画像情報における四角形abcdを正置画像情報である長方形efghに変換後,頂点の指定等による誤差を吸収し,各正置画像情報である長方形の縦横比率を補正する処理の一例を模式的に示す図である。 橋梁の床版下部の一例を示す図である。 一つ一つの区切られた長方形の真下に移動して撮影をし,撮影した長方形の画像情報を合成することで,全体の床版下部の画像情報を構成することを模式的に示す図である。 複数の床版の区切りをまとめて撮影し,撮影した長方形の画像情報を合成することで,全体の床版下部の画像情報を構成することを模式的に示す図である。 斜めに撮影した画像情報から歪んでいる長方形を切り出し,それを正置画像情報に変換した上で,それぞれの長方形を合成することを模式的に示す図である。
本発明の構造物維持管理業務システム1は,正置画像情報処理システム2で生成した正置画像情報を用いてその処理を実行する。そのため,正置画像情報処理システム2における処理の説明は,構造物維持管理業務システム1における処理と合わせて説明を行うが,正置画像情報処理システム2は,単独で,またはほかのシステムと組み合わせて機能させることが可能である。さらに正置画像情報処理システム2,2’は,土木や建築以外の分野にも適用でき,その適用分野に限定はない。
本発明の構造物維持管理業務システム1の全体の概念図の一例を図1に示す。また正置画像情報処理システム2の全体の概念図の一例を図2および図3に示す。図2および図3の正置画像情報処理システム2は,それぞれ異なる画像情報に対して正置画像情報を生成するための処理システムであり,図2の正置画像情報処理システム2ではパノラマ画像情報を正置画像情報に,図3の正置画像情報処理システム2では斜め撮影画像情報を正置画像情報にする正置画像情報処理システム2である。
構造物維持管理業務システム1,正置画像情報処理システム2は,サーバやパーソナルコンピュータ,可搬型通信端末などの各種のコンピュータにより実現される。図4にコンピュータのハードウェア構成の一例を示す。コンピュータには,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,ディスプレイなどの表示装置72と,キーボードやポインティングデバイス(マウスやテンキーなど)などの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74の一部または全部が備えられている。
図1乃至図3では構造物維持管理業務システム1,正置画像情報処理システム2が一台のコンピュータで実現される場合を示したが,複数台のコンピュータにその機能が分散配置され,実現されても良い。
本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。
また,本発明における各機能を用いた処理を,図5乃至図8のフローチャートに示す。
構造物維持管理業務システム1は,撮影画像情報入力受付処理部10と,正置画像情報生成処理部11および/または正置画像情報生成処理部11’と,ひび割れ処理部12と,長さ算出処理部13と,を有する。
撮影画像情報入力受付処理部10は,撮像装置で撮像した撮影画像情報の入力を受け付ける。
正置画像情報生成処理部11,11’は正置画像情報処理システム2,2’であって,撮影画像情報入力受付処理部10で入力を受け付けた撮影画像情報を正置画像情報に変換し,正置画像情報を生成する処理を実行する。正置画像情報生成処理部11,11’における処理には少なくとも2つの処理方法があり,パノラマ画像情報を正置画像情報に変換する処理(正置画像情報生成処理部11)を実施例1に,長方形を含む撮影対象を斜めに撮影した斜め撮影画像情報を正置画像情報に変換する処理(正置画像情報生成処理部11’)を実施例2に示す。
なお,正置画像情報生成処理部11,11’が単独として正置画像情報処理システム2,2’として機能する場合には,パノラマ画像情報,斜めに撮影した画像情報をそれぞれ正置画像情報に変換する場合の処理を実行する。
ひび割れ処理部12は,正置画像情報生成処理部11,11’(正置画像情報処理システム2,2’)で生成した正置画像情報に基づいて,ひび割れ箇所を特定する。正置画像情報からひび割れ箇所を特定するためには,第1の方法として,正置画像情報をコンピュータの表示装置72で表示をし,そこにタッチペンなどにより,ひび割れ箇所をトレースし,その入力を受け付ける方法がある(これを模式的に示すのが図9である)。第2の方法として,ひび割れ箇所を自動的に特定するなどの処理がある。第2の方法におけるひび割れ箇所の自動特定処理では撮影前に撮影対象にチョークでひび割れ箇所をマーキングし,それを撮影後,変換された正置画像情報からマーキングを検出して,ひび割れ箇所として特定してもよいし,マーキングせずに,自動的にひび割れ箇所を特定してもよい。ひび割れ箇所の自動検出にはさまざまな画像処理によるひび割れ検出の公知技術を用いることができる。
長さ算出処理部13は,ひび割れ処理部12で特定したひび割れ箇所の長さを算出し,撮影時の画像情報の縮尺に基づいて,算出したひび割れ箇所の長さを乗算する。これによって,当該画像情報に写っている範囲での実際のひび割れ箇所の長さを算出することができる。そして各画像情報における実際のひび割れ箇所の長さを合計することで,ひび割れ箇所の長さの総延長を算出する。
たとえばひび割れ処理部12が特定した正置画像情報におけるひび割れ箇所が図9であったとすると,長さ算出処理部13は,図10に示すように,正置画像情報における所定箇所の長さ(基準長)の指定の入力と,当該箇所の実際の長さの指定の入力を受け付ける。図10では所定箇所として正置画像情報における壁の高さの指定の入力を受け付け,そこの実際の長さとして3000mmであることの入力を受け付けている。また,図11に示すように,延長距離算出のボタンの押下を受け付けると,正置画像情報に写っている範囲での実際のひび割れの長さの算出処理を実行する。
すなわち,延長距離算出のボタンの押下を受け付けると,長さ算出処理部13は,正置画像情報における基準長となる壁の長さと,実際の壁の高さとの比率が特定できるので,縮尺を算出する。そして,この縮尺に基づいて,ひび割れ箇所の長さの乗算をすることで,画像情報に写っている範囲での実際のひび割れの長さを算出する。そして各画像情報における実際のひび割れ箇所の長さを合計することで,ひび割れ箇所の長さの総延長を算出する。
まずパノラマ撮影を行う場合の処理を図1および図2の概念図,図5および図6のフローチャートを用いて説明する。
本実施例における正置画像情報生成処理部11は,パノラマ画像情報表示処理部20と消失点特定処理部21とグリッド線表示処理部22と座標変換処理部23と変換確認表示処理部24とを有する。
パノラマ画像情報表示処理部20は,コンピュータで入力を受け付けたパノラマ画像情報を表示装置72で表示する。
消失点特定処理部21は,表示したパノラマ画像情報に対する消失点を特定する。たとえば左右方向のパノラマ画像情報であれば左右方向にそれぞれ消失点があり,上下方向のパノラマ画像情報であれば上下方向にそれぞれ消失点がある。そのため,それぞれの方向の消失点を特定する処理を実行する。
グリッド線表示処理部22は,左右方向または上下方向の各消失点を基点として結ばれるグリッド線を,パノラマ画像情報表示処理部20が表示しているパノラマ画像情報に重畳して表示させる。グリッド線は,実空間での水平線がパノラマ画像情報(パノラマ写真)でどのように歪んで写っているかを示している。
座標変換処理部23は,特定した消失点に基づいて,パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換することで,正置画像情報を生成する処理を実行する。
変換確認表示処理部24は,座標変換処理部23で生成した正置画像情報に,矩形からなるマトリックスを重畳して表示させることで,正置画像情報が適切に生成されているかを確認させる。
つぎに本実施例における処理プロセスの一例を説明する。
図12に示すように,撮影者は,撮像装置においてパノラマ撮影が行えるように撮影モードを調整し,撮影対象となる構造物を撮像装置でパノラマ撮影する(S100)。パノラマ撮影を行う場合,撮影者は動かず同じ場所でカメラを回転させながら撮影し,カメラの回転軸は撮影する面に平行となるようにパノラマ撮影を行う。これを模式的に示すのが図13である。代表的な例として,垂直に立ち上がる面を上下に撮影する場合(図13(a)),横に広がる垂直面を左右に撮影する場合(図13(b)),自らが立っている床面を撮影する場合(図13(c))がある。
このようにしてパノラマ撮影を撮像装置で行うことによって,図14に示すパノラマ画像情報を撮像装置で得られるので,パノラマ画像情報を構造物維持管理業務システム1が機能するコンピュータに読み込ませる。そしてパノラマ撮影画像情報は,構造物維持管理業務システム1の撮影画像情報入力受付処理部10で入力を受け付ける(S110)。
撮影画像情報入力受付処理部10でパノラマ画像情報の入力を受け付けると,正置画像情報生成処理部11は,パノラマ画像情報に対して正置画像情報生成処理を実行することで,正置画像情報を生成する(S120)。
パノラマ画像情報に対する正置画像情報生成処理は,まずコンピュータの表示装置72において,S110で入力を受け付けたパノラマ画像情報を,パノラマ画像情報表示処理部20が表示する(S200)。これを模式的に示すのが図15である。
そして図16に示すように,表示したパノラマ画像情報に対して,消失点特定処理部21は,四本の直線の描画を受け付けることで2つの消失点を特定する処理を実行する(S210)。パノラマ撮影の場合,ある一点を中心に,撮像装置を回転させて撮影を行っているため,パノラマ画像情報は,左右または上下方向で,それぞれ一点に収束する。この収束点を消失点という。消失点はパノラマ画像情報上になくてもよく,また実際に表示を行わずに座標を特定してもよい。
消失点の特定処理は,表示したパノラマ画像情報において,任意の一点の指定の入力を受け付け,その点からパノラマ画像情報上の奥まった部分に向かって,実空間上の水平線をなぞって線を描画する(線1)。同様に,線2乃至線4を描画する。線が描画できれば,2線ずつ交点があり,その交点が消失点となるので,各線の交点を算出することで,消失点の座標を特定することができる。なお,消失点の特定処理としては、上述のように線を描画して交点を求める方法以外に任意の方法を用いることもでき,パノラマ画像情報から自動的に特定してもよい。
つぎに消失点特定処理部21は,2つの消失点のy座標が所定程度以上,相違する場合には,パノラマ撮影画像情報の中心点を中心にして,y座標が一致または略一致(所定値の範囲内での一致)するように回転させる。
以上のようにして2つの消失点のy座標が一致または略一致すると,グリッド線表示処理部22が,消失点の指定が適切かどうかを確認するためのグリッド線(曲線群)を消失点を基点として,パノラマ画像情報に重畳して表示する(S220)。これを示すのが図17である。
グリッド線は,たとえば数1を用いて描画できる。
Figure 2016099235
ここでaは一定のステップで変化させる変数であり,aの増減によって描画されるグリッド線の高さが変わる。またbはaに比べ十分小さい値であり,カメラ内部でのパノラマ画像情報生成のための画像処理や,撮影時の回転軸とカメラの間の距離,回転軸と対象との距離などで定まる,コサインカーブからの歪みを近似する係数である。bは,消失点2点と頂点の位置を変えずにカーブの形状を角張らせたり湾曲させたりして補正できる値であればよく,経験的に定めてもよいし(たとえばb=1/40),グリッド線とパノラマ画像情報とのフィットの度合いが高まるように,毎回,ユーザインターフェイスを介して入力を行い,調整してもよい。
グリッド線をパノラマ画像情報に重畳表示することで,水平な撮影対象がどれだけグリッド線にフィットしているかを確認し,正置化の精度を予見することができる。
もし十分にフィットしていなければS210における消失点の特定をやり直すか,あるいはパノラマ画像情報に対して平行移動,拡大,回転させるなどの入力操作を受け付けることで,グリッド線にフィットするように修正処理を行わせる消失点の位置の微調整処理を行ってもよい。
このようにして消失点を特定すると,座標変換処理部23が,パノラマ画像情報の各画素の座標情報(x,y)を,正置画像情報の座標情報(x1,y1)に変換することで,正置画像情報を生成する(S230)。この処理の一例を図18に模式的に示す。
dを撮影対象の平面とカメラの垂直距離,fを焦点距離とすると,撮影倍率はd:fである。また,レンズの光軸からの偏位角をtとする。
そうすると,正置画像情報に変換するための式,すなわちBの各点がAのどの点に対応するかを求めるための式は数2となる。
Figure 2016099235
ここで,a=d/f,t=x/fである。dは撮影対象の平面とカメラの垂直距離,fは焦点距離である。また,bは数1と同じ係数である。
しかし,上述のように,カメラ内部でのパノラマ画像情報生成のための画像処理や,撮影時の回転軸とカメラの間の距離,回転軸と対象との距離などによる補正を行う必要があるため,数2に補正項を加え,数3を得る。
Figure 2016099235
このようにして得た数3を用いて,座標変換処理部23は座標変換処理を行い,正置画像情報を生成する。座標変換処理部23における座標変換処理を行った正置画像情報の一例が図19である。そして座標変換処理部23で生成した正置画像情報に対して,正置化の精度を確認するため,変換確認表示処理部24は,図20に示すように,矩形のマトリックスを重畳表示する(S240)。
以上のようにして正置画像情報生成処理部11(正置画像情報処理システム2)は,正置画像情報を生成することができる。
このようにして生成した正置画像情報に対して,ひび割れ処理部12が,ひび割れ箇所の特定処理を実行する(S130)。そして,長さ算出処理部13が,特定したひび割れ箇所の長さを算出する(S140)。
具体的には,図9に示すように,生成した正置画像情報に対して,マウスやデジタルペンなどの入力装置73を用いて,ひび割れ箇所をスケッチしていき,ひび割れ処理部12でその入力を受け付ける。つぎに,図10に示すように,正置画像情報における基準となる長さ,たとえば壁面の高さの指定の入力を長さ算出処理部13で入力を受け付ける。また基準となる長さの実際の長さの入力を受け付ける。これによって,撮影時の画像情報の縮尺を算出し,算出した縮尺に基づいて,ひび割れ箇所の長さを乗算する。これによって,撮影したパノラマ画像情報に写っている実際のひび割れの長さを算出することができる。そして各パノラマ画像情報に基づく正置画像情報における実際のひび割れの長さを合計することで,補修対象となるひび割れ箇所の長さの総延長を算出する。
以上のような処理を実行することで,パノラマ撮影をしたとしてもそれを正置画像情報に変換し,ひび割れの長さを算出することが可能となる。
つぎに,撮影対象を斜めに撮影した場合の処理を図1および図3の概念図,図5,図7,図8のフローチャートを用いて説明する。
本実施例における正置画像情報生成処理部11’(正置画像情報処理システム2’)は,撮影画像情報表示処理部30と長方形特定処理部31とを有する。
撮影画像情報表示処理部30は,コンピュータで入力を受け付けた斜め撮影画像情報を表示装置72で表示する。
長方形特定処理部31は,斜め撮影画像情報に写っている四角形を,長方形に変換する正置画像処理を実行する。斜め撮影画像情報に写っている四角形を長方形に変換する正置画像処理は後述する。
撮影者は撮影対象となる構造物,たとえば橋梁の床版下部を,図29(a)に示した位置からそれぞれ撮像装置で撮影する(S100)。その結果,図29(b)の上部に示した斜め撮影画像情報が得られる。そして,橋梁の床版下部は,上述のように複数の床版部材の長方形により区切られているので,撮影した斜め撮影画像情報には,図21に示すように,床版部材の長方形が歪んだ四角形として写っている。撮影した斜め撮影画像情報は,構造物維持管理業務システム1が機能するコンピュータに読み込ませる。そして斜め撮影画像情報は,構造物維持管理業務システム1の撮影画像情報入力受付処理部10で入力を受け付ける(S110)。
撮影画像情報入力受付処理部10で斜め撮影画像情報の入力を受け付けると,正置画像情報生成処理部11’は,斜め撮影画像情報に対して正置画像情報生成処理を実行することで,正置画像情報を生成する(S120)。
斜め撮影画像情報に対する正置画像情報生成処理は,まずコンピュータの表示装置72において,S110で入力を受け付けた斜め撮影画像情報を,撮影画像情報表示処理部30が表示させる(S300)(図21)。そして,読み込んだ斜め撮影画像情報に対して,長方形特定処理部31が正置画像処理を実行する(S310)。
まず,図22に示すように,表示した斜め撮影画像情報に対して,長方形特定処理部31は,四角形の角a,b,c,dの指定の入力を受け付ける(S400)。
このように指定を受け付けることで処理対象となる歪んだ四角形abcdが特定できる。そしてa,b,c,dの4点の座標が与えられたとき,元の長方形を正面から見たときの縦横の長さの比m:nを求めることができれば正置画像Xを得ることができる。この処理を模式的に示すが図23である。
図23(a)では,撮影対象となる四角形efghをカメラで撮影をしたときに,四角形abcdが撮影されることを示している。光の方向をこれの逆にして,写真内の四角形abcdをプロジェクタで投影し,四角形efghを写した状態が図23(b)である。四角形abcdがある面を「写真面」,長方形efghがある面を「スクリーン面」とよぶこととする。撮影対象となる四角形efghが長方形であれば,四角形efghを正面から撮影すると,写真面上の四角形abcdは四角形efghと同一の形(長方形)となる(すなわち正置化している)。一方,撮影対象となるスクリーン面が左右に回転していたり,前傾,後傾していると,スクリーン面上の長方形である四角形efghは,写真面上で四角形abcdとして長方形から変形した四角形となる。そうすると,写真面上に四角形abcdが存在している状態で,スクリーン面上の四角形efghが長方形となる4点を特定できればよいこととなる。つまり,四角形abcdの座標が与えられていれば,4点efghを変更しながら探索することで,四角形abcdの正置画像情報(四角形(長方形)efgh)を得ることが可能となる。
図24に示すように,長方形特定処理部31において四角形の角a,b,c,dの指定の入力を受け付けると,写真面の中心を通る垂線上に頂点Vをもち,写真面上の四角形abcdを底面とする仮想的な四角錐を三次元空間上に生成する(S410)。図24は写真面を模式的に示したものであり,四角形abcdと写真面の中心VP,辺adの長さをA,辺abの長さをB,辺bcの長さをC,辺cdの長さをDとすることを示している。また,生成した四角錐Vabcdと,スクリーン面上に生成される四角形efghの関係を示している。
Vと写真面の位置関係である四角錐の底面に対し頂点Vをどれだけ離すかは,カメラの焦点距離の入力を長方形特定処理部31で受け付け,焦点距離によって決定する。これによって,直線E,F,G,Hが定められる。
つぎに写真面上の四角形abcdの辺の長さAとC,BとDの比率から,カメラと各頂点との距離の比率Ve:Vf=Vh:Vg,Ve:Vh=Vf:Vgを算出する(S420)。すなわち,向かい合っている辺の長さの比が図25の場合,線分Vfの長さは線分Veの長さの1.3倍,線分Vgの長さは線分Vhの長さの1.3倍,線分Vhの長さは線分Veの長さの1.1倍,線分Vgの長さは線分Vfの長さの1.1倍となる。Veを1.0とすると,これらより,Vh=1.1,Vf=1.3,Vg=1.43となる。
そして上記算出した比率に基づいて,スクリーン面上の点efghを初期値として設定する(S430)。なお,初期値は点efghが同一平面上に存在するようあらかじめ値を調整しておく。
そして,スクリーン面上の点efghで構成される四角形efghの4つの角が直角となるまで(S440),4点efghが同一平面上に存在するという制約条件のもとで,直線E上で点eを,直線F上で点fを,直線G上で点gを,直線H上で点hの座標をそれぞれ変更する(S450)。ここで4つの角が直角となるかを判定するための評価関数として,たとえば,数4を用いることができる。
Figure 2016099235
長方形特定処理部31は,数4の評価関数が0に近くなる点e,f,g,hの座標を特定する。ここで数4の評価関数が0の場合には4点がすべて直角の場合であり,0に近くなるほど直角に近いことを意味する。そのため,評価関数が0でなくてもあらかじめ設定した許容値の範囲内になるまで点e,f,g,hを変更してもよい。
この場合,スクリーン面をx軸,y軸それぞれを回転軸として順に,たとえばまずx軸に沿って回転させて評価,つぎにy軸に沿って回転させて評価,とのように,回転量を次第に減らしながら,回転し評価することを繰り返すことで,点e,f,g,hの座標を特定し得る。なお,x,y軸はスクリーン面上の座標軸であり,Vから写真面への垂線をz軸とする。
評価関数が許容範囲内にある点e,f,g,hの座標が特定できた場合,それを点e,f,g,hの位置として決定する(S460)。
以上のようにして点e,f,g,hの位置が決定できると,四角形efghは長方形または略長方形になっているので,斜め撮影画像情報の角がその座標情報(x,y)を,正置画像情報の座標情報(x2,y2)に変換することで,正置画像情報を生成する(S470)。
以上のような処理を長方形特定処理部31が実行することで,斜め撮影画像上の床版部材の形状である四角形abcdを,実際の床版部材の形状である長方形efghに変換し,一つの正置画像情報である長方形として画像を切り出すことができる。そしてこれを斜め撮影画像における各四角形ごとに実行することで,斜め撮影画像に写っている各四角形を長方形の正置画像情報にそれぞれ変換できる。このような処理を橋梁の床版の斜め撮影画像情報ごとに行い,変換された正置画像情報をそれぞれ一つの長方形に組み合わせることで,一つの橋梁の床版全体を正置画像情報にすることができる。
なお,正置画像情報に変換した各長方形は多くの場合,隣り合っている矩形の縦,横の長さが同一またはほぼ同一となる。しかし,S400の斜め撮影画像情報に写っている四角形の4点の指定においてずれがあると,正置画像情報に変換後,縦,横の長さにずれが生じる場合がある。そこで,正置画像情報に変形したあとの各長方形の縦,横の長さの平均値を算出し,それにあうように,各正置画像情報の長方形をアフィン変換で再変形させてもよい。これによって,頂点の指定等による誤差を吸収し,より正確な縦横比率に補正することができる。これを模式的に示すのが図26である。
一方,必ずしも橋梁の長さや幅を正確に等分した部材で組み立てられたり,正確に等分した型枠を使って建造されているわけではないので,端部の長方形の長さは,ほかと違っていることも多い。そのため,上記平均値の算出にあったっては,前後または左右に隣接する正置画像情報とすることが好ましい。そのため,処理対象となる各斜め撮影画像情報を正置画像情報に変形したあとの,前後または左右方向に並んでいる各長方形の縦,横の長さの平均値を算出し,それにあうように,各正置画像情報の長方形をアフィン変換で再変形させてもよい。これによって,より精度を高めて縦横比率の補正を行うことができる。
以上のようにして長方形特定処理部31において,撮影対象となった橋梁の床版下部の全体の長方形の正置画像情報の組み合わせが可能となる。そして,このようにして生成した正置画像情報となった床版部材の各長方形を組み合わせた画像情報に対して,ひび割れ処理部12が,ひび割れ箇所の特定処理を実行し(S130),長さ算出処理部13が,特定したひび割れ箇所の長さを算出する(S140)。
具体的には,図9に示すように,生成した正置画像情報に対して,マウスやデジタルペンなどの入力装置73を用いて,ひび割れ箇所をスケッチしていき,ひび割れ処理部12でその入力を受け付ける。つぎに,図10に示すように,正置画像情報における基準となる長さ,たとえば壁面の高さの指定の入力を長さ算出処理部13で入力を受け付ける。また基準となる長さの実際の長さの入力を受け付ける。これによって,撮影時の画像情報の縮尺を算出し,算出した縮尺に基づいて,ひび割れ箇所の長さを乗算する。これによって,撮影した斜め画像情報に写っている実際のひび割れの長さを算出することができる。そして各斜め画像情報に基づく正置画像情報における実際のひび割れの長さを合計することで,補修対象となるひび割れ箇所の長さの総延長を算出する。
以上のような処理を実行することで,斜めに撮影をしたとしてもそれを正置画像情報に変換し,ひび割れ箇所の長さを算出することが可能となる。
本発明の正置画像処理システムを用いることによって,パノラマ撮影や斜めから撮影した画像情報から,正置画像情報を生成することが可能となる。また,正置画像情報が生成可能となることで,構造物をパノラマ撮影や斜めから撮影したとしても,構造物におけるひび割れ箇所を含む変状等の状態の位置や大きさを高い精度で記録することが可能となる。
構造物の維持管理業務の一環として,ひび割れのみならず,剥落,漏水等を含む構造物の変状一般を図面として記録する需要があり,構造物の現況を示すCADデータとしての正面図や立面図等の図面を,自動で生成,あるいはコンピュータの支援によって人がトレースするために,正面から十分な距離をおいて撮影したかのような画像情報(正置画像情報)を得ることは極めて有用である。
1:構造物維持管理業務システム
2,2’:正置画像情報処理システム
10:撮影画像情報入力受付処理部
11,11’:正置画像情報生成処理部
12:ひび割れ処理部
13:長さ算出処理部
20:パノラマ画像情報表示処理部
21:消失点特定処理部
22:グリッド線表示処理部
23:座標変換処理部
24:変換確認表示処理部
30:撮影画像情報表示処理部
31:長方形特定処理部
70:演算装置
71:記憶装置
72:表示装置
73:入力装置
74:通信装置

Claims (12)

  1. 構造物のひび割れ箇所の長さを算出する構造物維持管理業務システムであって,
    前記構造物を撮影した画像情報の入力を受け付ける撮影画像情報入力受付処理部と,
    前記入力を受け付けた画像情報に基づいて正置画像情報を生成する正置画像情報生成処理部と,
    前記生成した正置画像情報におけるひび割れ箇所の長さを検出し,前記画像情報の縮尺に基づいて乗算することで実際のひび割れ箇所の長さを算出する長さ算出処理部と,
    を有することを特徴とする構造物維持管理業務システム。
  2. 前記画像情報は,パノラマ撮影されたパノラマ画像情報であって,
    前記正置画像情報生成処理部は,
    前記パノラマ画像情報において2点の消失点を特定する消失点特定処理部と,
    前記特定した消失点に基づいて前記パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換することで正置画像情報を生成する座標変換処理部と,を有する,
    ことを特徴とする請求項1に記載の構造物維持管理業務システム。
  3. 前記画像情報は,複数の長方形または略長方形部分を有する構造物を撮影し,前記長方形または略長方形部分が四角形として写っている斜め撮影画像情報であって,
    前記正置画像情報生成処理部は,
    前記斜め撮影画像情報を表示する撮影画像情報表示処理部と,
    前記斜め撮影画像情報に写っている四角形を,正置画像情報である長方形または略長方形に変形処理する長方形特定処理部と,を有しており,
    前記長方形特定処理部は,
    前記表示した斜め撮影画像情報に写っている四角形の角4点の指定の入力を受け付け,
    前記指定を受け付けた4点を角とする四角形を底面とする四角錐を生成し,
    前記四角形の辺の長さの比率に基づいて,前記四角錐の頂点と各角との距離の比率を算出し,
    前記算出した比率に基づいて,前記長方形または略長方形の4つの角の位置の初期値を決定し,
    前記4つの角の角度が直角または略直角になるまで4つの角の位置を変化させ,
    前記4つの角の角度が直角または略直角になった4つの角の位置に基づいて,斜め撮影画像情報に写っている四角形の各画素の座標情報を,前記4つの角で構成される長方形または略長方形の座標情報に変換することで,正置画像情報を生成する,
    ことを特徴とする構造物維持管理業務システム。
  4. パノラマ画像情報を変形する正置画像情報処理システムであって,
    処理対象となるパノラマ画像情報において2点の消失点を特定する消失点特定処理部と,
    前記特定した消失点に基づいて前記パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換することで正置画像情報を生成する座標変換処理部と,
    を有することを特徴とする正置画像情報処理システム。
  5. 前記消失点特定処理部は,
    前記特定した消失点のy座標が所定以上相違する場合には,前記パノラマ画像情報の中心点を中心にして,各消失点のy座標が一致または略一致するまで回転させる,
    ことを特徴とする請求項4に記載の正置画像情報処理システム。
  6. 前記正置画像情報処理システムは,
    前記特定した消失点を基点としてグリッド線を前記パノラマ画像情報に重畳表示させるグリッド線表示処理部,
    を有することを特徴とする請求項4または請求項5に記載の正置画像情報処理システム。
  7. 前記正置画像情報処理システムは,
    前記座標変換処理部で生成した正置画像情報に,矩形からなるマトリックスを重畳表示させる変換確認表示処理部,
    を有することを特徴とする請求項4から請求項6のいずれかに記載の正置画像情報処理システム。
  8. 長方形または略長方形が歪んで写っている斜め撮影画像情報を変形する正置画像情報処理システムであって,
    処理対象となる斜め撮影画像情報を表示する撮影画像情報表示処理部と,
    前記斜め撮影画像情報に写っている四角形を,正置画像情報である長方形または略長方形に変形処理する長方形特定処理部と,を有しており,
    前記長方形特定処理部は,
    前記表示した斜め撮影画像情報に写っている四角形の角4点の指定の入力を受け付け,
    前記指定を受け付けた4点を角とする四角形を底面とする四角錐を生成し,
    前記四角形の辺の長さの比率に基づいて,前記四角錐の頂点と各角との距離の比率を算出し,
    前記算出した比率に基づいて,前記長方形または略長方形の4つの角の位置の初期値を決定し,
    前記4つの角の角度が直角または略直角になるまで4つの角の位置を変化させ,
    前記4つの角の角度が直角または略直角になった4つの角の位置に基づいて,斜め撮影画像情報に写っている四角形の各画素の座標情報を,前記4つの角で構成される長方形または略長方形の座標情報に変換することで,正置画像情報を生成する,
    ことを特徴とする正置画像情報処理システム。
  9. 前記長方形特定処理部は,さらに,
    処理対象となる各斜め撮影画像情報から生成した正置画像情報の前後または左右方向に並んでいる各長方形の縦,横の長さの平均値を算出し,各正置画像情報の長方形をアフィン変換により再変形させる,
    ことを特徴とする請求項8に記載の正置画像情報処理システム。
  10. コンピュータを,
    構造物を撮影した画像情報の入力を受け付ける撮影画像情報入力受付処理部,
    前記入力を受け付けた画像情報に基づいて正置画像情報を生成する正置画像情報生成処理部,
    前記生成した正置画像情報におけるひび割れ箇所の長さを検出し,前記画像情報の縮尺に基づいて乗算することで実際のひび割れ箇所の長さを算出する長さ算出処理部,
    として機能させることを特徴とする構造物維持管理業務プログラム。
  11. コンピュータを,
    処理対象となるパノラマ画像情報において2点の消失点を特定する消失点特定処理部,
    前記特定した消失点に基づいて前記パノラマ画像情報の各画素の座標情報を,正置画像情報の座標情報に変換することで正置画像情報を生成する座標変換処理部,
    として機能させることを特徴とする正置画像情報処理プログラム。
  12. コンピュータを,
    長方形または略長方形が歪んで写っている斜め撮影画像情報を表示する撮影画像情報表示処理部,
    前記斜め撮影画像情報に写っている四角形を,正置画像情報である長方形または略長方形に変形処理する長方形特定処理部,として機能させる正置画像情報処理プログラムであって,
    前記長方形特定処理部は,
    前記表示した斜め撮影画像情報に写っている四角形の角4点の指定の入力を受け付け,
    前記指定を受け付けた4点を角とする四角形を底面とする四角錐を生成し,
    前記四角形の辺の長さの比率に基づいて,前記四角錐の頂点と各角との距離の比率を算出し,
    前記算出した比率に基づいて,前記長方形または略長方形の4つの角の位置の初期値を決定し,
    前記4つの角の角度が直角または略直角になるまで4つの角の位置を変化させ,
    前記4つの角の角度が直角または略直角になった4つの角の位置に基づいて,斜め撮影画像情報に写っている四角形の各画素の座標情報を,前記4つの角で構成される長方形または略長方形の座標情報に変換することで,正置画像情報を生成する,
    ことを特徴とする正置画像情報処理プログラム。
JP2014236514A 2014-11-21 2014-11-21 正置画像処理システムおよび構造物維持管理業務システム Active JP6467612B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014236514A JP6467612B2 (ja) 2014-11-21 2014-11-21 正置画像処理システムおよび構造物維持管理業務システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014236514A JP6467612B2 (ja) 2014-11-21 2014-11-21 正置画像処理システムおよび構造物維持管理業務システム

Publications (2)

Publication Number Publication Date
JP2016099235A true JP2016099235A (ja) 2016-05-30
JP6467612B2 JP6467612B2 (ja) 2019-02-13

Family

ID=56076836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014236514A Active JP6467612B2 (ja) 2014-11-21 2014-11-21 正置画像処理システムおよび構造物維持管理業務システム

Country Status (1)

Country Link
JP (1) JP6467612B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228208A (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 図面作成装置及び図面作成方法
WO2018180213A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 画像修正装置、画像修正方法及びプログラム
WO2019021719A1 (ja) * 2017-07-27 2019-01-31 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
WO2019031086A1 (ja) * 2017-08-09 2019-02-14 富士フイルム株式会社 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム
WO2019150799A1 (ja) 2018-01-31 2019-08-08 富士フイルム株式会社 補修長の決定方法及び補修長の決定装置
WO2020110587A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 構造物の補修工法選定システム、補修工法選定方法、及び補修工法選定サーバ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124522A (ja) * 1999-10-25 2001-05-11 Nikon Corp 画像処理を用いたひび割れ評価装置
JP2006134137A (ja) * 2004-11-08 2006-05-25 Ritsumeikan 正面画像データをコンピュータによって生成する方法及びそのコンピュータプログラム、並びに3次元cgモデルの作成方法及びそのコンピュータプログラム
US20090067725A1 (en) * 2006-03-17 2009-03-12 Pasco Corporation Building Shape Change Detecting Method, And Building Shape Change Detecting System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124522A (ja) * 1999-10-25 2001-05-11 Nikon Corp 画像処理を用いたひび割れ評価装置
JP2006134137A (ja) * 2004-11-08 2006-05-25 Ritsumeikan 正面画像データをコンピュータによって生成する方法及びそのコンピュータプログラム、並びに3次元cgモデルの作成方法及びそのコンピュータプログラム
US20090067725A1 (en) * 2006-03-17 2009-03-12 Pasco Corporation Building Shape Change Detecting Method, And Building Shape Change Detecting System

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228208A (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 図面作成装置及び図面作成方法
US11055823B2 (en) 2017-03-28 2021-07-06 Fujifilm Corporation Image correction device, image correction method, and program
WO2018180213A1 (ja) * 2017-03-28 2018-10-04 富士フイルム株式会社 画像修正装置、画像修正方法及びプログラム
JPWO2018180213A1 (ja) * 2017-03-28 2019-12-26 富士フイルム株式会社 画像修正装置、画像修正方法及びプログラム
WO2019021719A1 (ja) * 2017-07-27 2019-01-31 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP7170023B2 (ja) 2017-07-27 2022-11-11 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム
JPWO2019021719A1 (ja) * 2017-07-27 2020-04-16 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP2021047197A (ja) * 2017-07-27 2021-03-25 富士フイルム株式会社 損傷データ編集装置、損傷データ編集方法、およびプログラム
WO2019031086A1 (ja) * 2017-08-09 2019-02-14 富士フイルム株式会社 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム
CN110915193A (zh) * 2017-08-09 2020-03-24 富士胶片株式会社 图像处理系统、服务器装置、图像处理方法及图像处理程序
US11295426B2 (en) 2017-08-09 2022-04-05 Fujifilm Corporation Image processing system, server apparatus, image processing method, and image processing program
JPWO2019031086A1 (ja) * 2017-08-09 2020-09-17 富士フイルム株式会社 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム
JPWO2019150799A1 (ja) * 2018-01-31 2021-02-25 富士フイルム株式会社 補修長の決定方法及び補修長の決定装置
US11263739B2 (en) 2018-01-31 2022-03-01 Fujifilm Corporation Repair length determination method and repair length determination apparatus
WO2019150799A1 (ja) 2018-01-31 2019-08-08 富士フイルム株式会社 補修長の決定方法及び補修長の決定装置
CN113167037A (zh) * 2018-11-29 2021-07-23 富士胶片株式会社 构造物的修复施工方法选定系统、修复施工方法选定方法及修复施工方法选定服务器
JPWO2020110587A1 (ja) * 2018-11-29 2021-10-14 富士フイルム株式会社 構造物の補修工法選定システム、補修工法選定方法、及び補修工法選定サーバ
WO2020110587A1 (ja) * 2018-11-29 2020-06-04 富士フイルム株式会社 構造物の補修工法選定システム、補修工法選定方法、及び補修工法選定サーバ
JP7261816B2 (ja) 2018-11-29 2023-04-20 富士フイルム株式会社 構造物の補修工法選定システム、補修工法選定方法、及び補修工法選定サーバ
US11935143B2 (en) 2018-11-29 2024-03-19 Fujifilm Corporation Structure repair method selection system, structure repair method selection method, and structure repair method selection server

Also Published As

Publication number Publication date
JP6467612B2 (ja) 2019-02-13

Similar Documents

Publication Publication Date Title
JP6467612B2 (ja) 正置画像処理システムおよび構造物維持管理業務システム
JP7231306B2 (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
JP4832878B2 (ja) 画像合成処理装置及び方法
JP6622503B2 (ja) カメラモデルパラメータ推定装置及びそのプログラム
JP6176598B2 (ja) 寸法測定プログラム、寸法測定装置、及び、寸法測定方法
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2007072537A (ja) 360°画像撮影装置
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
Soycan et al. Perspective correction of building facade images for architectural applications
JP2000011172A (ja) 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP2009133082A (ja) 埋金設置位置照合方法および埋金設置位置照合システム
JP2011238048A (ja) 位置姿勢計測装置及び位置姿勢計測プログラム
JP6178127B2 (ja) 建造物の計測装置および計測方法
JP2006098256A (ja) 3次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
JP3251557B2 (ja) 壁面の画像・損害・修復情報登録管理システム及び方法
JP4776983B2 (ja) 画像合成装置及び画像合成方法
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
JP2004212142A (ja) 画像寸法の測定方法
JP7044331B2 (ja) 橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラム
JP2004325072A (ja) 写真測量方法および写真測量プログラム
JP2018128927A (ja) 画像情報合成システム
JP6781996B1 (ja) 画像補正処理システム
JP7137230B2 (ja) 定点撮影システム及びプログラム
JP2021185644A (ja) 情報処理システム
JP3235929B2 (ja) 建造物画像合成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171120

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

R150 Certificate of patent or registration of utility model

Ref document number: 6467612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250